B1 — 自己選択
診断を受けるかどうかは、お客様が自分で選びます。自分から診断を選ぶ方は、もともと購入に近い方です。
この診断の効果は、開始前に文書で合意した方法で測ります。何と何を比べるのか、どの瞬間を数えるのか、その方法にどんな癖があるのか — 測り方の全体を、このページに公開しています。
合格ラインの欄は、御社と決めるまで空欄のままです。
最終報告書(ひな形)
測定が終わると、この1枚をお渡しします。数字の欄は、それまで空欄です。
測定対象
診断+10%クーポン — 同じ期間の、受けた方と受けていない方の比較
診断経由CVR
―.―%
n = ―
比較CVR(商品ページ2回以上)
―.―%
n = ―
週ごとの推移
B1〜B6の偏り一覧を、この見出しと同じページに記載します
判定は三択
リフトありリフトなしデータ不足報告の形式が先に決まっているので、都合の良い切り口をあとから選ぶことができません。
結論から
測るのは「診断+10%クーポン」の効果です。同じ4〜8週間のあいだに、診断を完了した方と、していない方の実際の数字を比べます。診断単体の効果として報告することはありません — 割引の分も差に含まれるからです。
測り方をあとから変えないこと。このページの約束は、それに尽きます。
数字が揺れる原因の多くは、集計のあいまいさです。指標はすべて式で先に定義し、途中で変えません。
測定指標の一覧
式と出どころは、開始前に文書で固定します
完了率
診断のイベント記録
quiz_complete ÷ quiz_start分母は画面表示ではなく「はじめる」のタップ
クリック率
診断のイベント記録
product_click ÷ result_viewセッション単位・重複なし
診断経由CVR
注文データ + イベント記録
診断経由の注文 ÷ 診断完了セッション比較CVR
御社のアナリティクス
診断以外の注文 ÷ 診断を受けていないセッション見出しは「商品ページを2回以上見た方」に限定し、全体の数字も併記
AOV(平均注文額)
注文データ
売上 ÷ 注文数(診断経由・比較側それぞれ)リフト
上の2つから算出
(診断経由CVR − 比較CVR)÷ 比較CVR%と絶対ポイントの両方で報告
| # | 指標 | 式 | 出どころ |
|---|---|---|---|
| 1 | 完了率 | quiz_complete ÷ quiz_start分母は画面表示ではなく「はじめる」のタップ | 診断のイベント記録 |
| 2 | クリック率 | product_click ÷ result_viewセッション単位・重複なし | 診断のイベント記録 |
| 3 | 診断経由CVR | 診断経由の注文 ÷ 診断完了セッション | 注文データ + イベント記録 |
| 4 | 比較CVR | 診断以外の注文 ÷ 診断を受けていないセッション見出しは「商品ページを2回以上見た方」に限定し、全体の数字も併記 | 御社のアナリティクス |
| 5 | AOV(平均注文額) | 売上 ÷ 注文数(診断経由・比較側それぞれ) | 注文データ |
| 6 | リフト | (診断経由CVR − 比較CVR)÷ 比較CVR%と絶対ポイントの両方で報告 | 上の2つから算出 |
6指標 — 件数(n=)を常に併記
集計はセッション単位・サーバー時刻
※ 定義の細部が数字を動かします。たとえば完了率の分母を「ページを開いた数」に変えると、同じ体験でも数字はおよそ半分に見えます。だから定義は、数字を見る前に固定します。
今の構成で診断が記録するイベントは、次の4つだけです。記録はセッション単位で、氏名やメールアドレスは含まれません。どの瞬間が何として数えられるかを、順にご覧ください。
STEP 1 / 4
quiz_start「はじめる」をタップした瞬間に記録します。ページを開いただけでは数えません — 眺めて離れた方まで分母に入れると、完了率が実態より低く見えるからです。
開始 = 「はじめる」のタップ
進み具合
この比べ方は、無作為の実験ではありません。避けられない偏りが6つあり、うち5つは私たちに有利な方向へ働きます。この一覧は、最終報告書の見出しと同じページにそのまま載せます。
診断を受けるかどうかは、お客様が自分で選びます。自分から診断を選ぶ方は、もともと購入に近い方です。
完了までには何度もの操作があります。深く関わったセッションは、その中身が何であれ高めのCVRになりがちです。
受けた方だけが10%の割引を受け取ります。差の一部は、診断ではなく割引そのものの分です。
途中でやめた方は「受けた方」から外れ、比較側に数えられます。買う気の薄い層が比較側に寄ります。
スマホで診断し、PCでクーポンを使わずに買うと、比較側に数えられます。唯一、私たちに不利へ働く偏りです。
新しい要素は、最初の数週間だけ余分に注目を集めます。だから平均ではなく、週ごとの推移で見ます。
見出しの比較は「商品ページを2回以上見た方」に限定します。全体との差が大きいときは、その差の大きさも示します。
測っているのは「診断+10%クーポン」だと、報告書の1行目に書きます。診断だけの効果としては書きません。
4〜8週間をひとつの平均に丸めません。続く差と、薄れていく差は、別の結果です。
3つとも「打ち消し」ではなく「抑え」です。それでも残る分は、次の言えること・言えないことの線引きで扱います。
測定の価値は、言えることの大きさより、言えないことを言わない節度で決まると考えています。
「原因」まで言うには、診断を無作為に出し分ける実験が必要です。リンク設置型の今回の構成では出し分けができないため、できないことをできるように装わず、限界として明記しています。出し分けは次の段階(ウィジェット型)で可能になり、今回の結果を確かめ直す正しい手段です。
数字が信用に足るための最低ラインを、開始前に決めています。期間の終わりに届いていなければ、期間を延ばします。見栄えの良い「足りない数字」は、無い数字より悪いからです。
4週間以上
測定期間
平日と週末、月初と月末。買い方の波をひとまわり以上またいで測ります。
400件以上
診断の完了数
これを下回ると、数ポイントの差はノイズと見分けられません。
30件以上
診断経由の注文数
これを下回るAOVは、1件の大きな注文だけで動いてしまいます。
4,000以上
比較側のセッション数
比較側のCVRが安定して読める最低ラインです。
開始前に、御社の現在のアクセス数でこの床に届くかを一緒に試算します。届かない見込みのときは、その場でそうお伝えします — 届かない測定を4週間走らせても、確かめられるものがないからです。
合格の条件
私たちだけが信じている数字は、合格ではありません。
このページの設計を、実際にご質問をいただく順に並べ直しました。答えは、上のどこかに書いてあることと同じです。
開始前に文書で方法を固定し、同じ期間に診断を完了した方と、していない方の実際の数字を比べます。指標は6つ、それぞれ式で先に定義して、途中で変えません。測っているのは「診断+10%クーポン」の効果であり、診断だけの効果として報告することはありません。
同じ期間に、診断を完了していないセッションと比べます。見出しの比較は「商品ページを2回以上見た方」に限定し、全体の数字も併記します。無作為に出し分ける実験ではないので、この選び方に残る癖は隠さず、B1〜B6の一覧として報告書の同じページに載せます。
クーポン(SHINDAN10)が使われたか、診断からのリンク印(UTM)を伴う注文だけを診断経由と数えます。診断の完了から7日以内に限ります。判定は御社の注文データ側で行われるため、スマートフォンで診断してパソコンでクーポンなしに購入された場合は、比較側に数えられます。迷う場合は、数字が目減りする側に倒してあります。
避けられない偏りが6つあります。自己選択・関与の深さ・クーポン・離脱の偏り・目新しさの5つは数字がふくらむ方向へ、デバイスまたぎの1つは目減りする方向へ働きます。手当ては3つ — 比較の相手を揃える、割引を明言する、週ごとに見る。いずれも打ち消しではなく抑えです。
床を4つ決めてあります。測定期間4週間以上、診断の完了400件以上、診断経由の注文30件以上、比較側のセッション4,000以上。期間の終わりにどれかが届いていなければ、期間を延ばします。足りないまま報告は出しません。開始前に、御社の現在のアクセス数で床に届くかを一緒に試算します。
御社と一緒に決めます。合格ラインの欄は、それまで空欄のままにしてあります。判定は「リフトあり」「リフトなし」「データ不足」の三択で、報告の形式も開始前に固定します。形式が先に決まっているので、都合の良い切り口をあとから選ぶことができません。
言えません。原因まで言うには、診断を無作為に出し分ける実験が必要です。リンク設置型の今の構成では出し分けができないため、そこは方法の限界として明記しています。言えるのは、同じ期間にどれだけ差があったか、その差が4〜8週間のあいだ続いたのか薄れたのか、までです。出し分けは次の段階(ウィジェット型)で可能になります。