Rekottoレコット
レコットの紹介にもどる
効果測定の設計

数字が出る前に、 測り方を固定する。

この診断の効果は、開始前に文書で合意した方法で測ります。何と何を比べるのか、どの瞬間を数えるのか、その方法にどんな癖があるのか — 測り方の全体を、このページに公開しています。

方法は開始前に固定偏りは見出しと同じページに数字とデータは御社のもの

合格ラインの欄は、御社と決めるまで空欄のままです。

最終報告書(ひな形)

測定が終わると、この1枚をお渡しします。数字の欄は、それまで空欄です。

測定対象

診断+10%クーポン — 同じ期間の、受けた方と受けていない方の比較

診断経由CVR

―.―%

n = ―

比較CVR(商品ページ2回以上)

―.―%

n = ―

週ごとの推移

W1
W2
W3
W4

B1〜B6の偏り一覧を、この見出しと同じページに記載します

判定は三択

リフトありリフトなしデータ不足

報告の形式が先に決まっているので、都合の良い切り口をあとから選ぶことができません。

結論から

測るのは「診断+10%クーポン」の効果です。同じ4〜8週間のあいだに、診断を完了した方と、していない方の実際の数字を比べます。診断単体の効果として報告することはありません — 割引の分も差に含まれるからです。

測り方をあとから変えないこと。このページの約束は、それに尽きます。

指標の定義

ひとつの指標に、 ひとつの式。

数字が揺れる原因の多くは、集計のあいまいさです。指標はすべて式で先に定義し、途中で変えません。

測定指標の一覧

式と出どころは、開始前に文書で固定します

完了率

診断のイベント記録

quiz_complete ÷ quiz_start

分母は画面表示ではなく「はじめる」のタップ

クリック率

診断のイベント記録

product_click ÷ result_view

セッション単位・重複なし

診断経由CVR

注文データ + イベント記録

診断経由の注文 ÷ 診断完了セッション

比較CVR

御社のアナリティクス

診断以外の注文 ÷ 診断を受けていないセッション

見出しは「商品ページを2回以上見た方」に限定し、全体の数字も併記

AOV(平均注文額)

注文データ

売上 ÷ 注文数(診断経由・比較側それぞれ)

リフト

上の2つから算出

(診断経由CVR − 比較CVR)÷ 比較CVR

%と絶対ポイントの両方で報告

6指標 — 件数(n=)を常に併記

集計はセッション単位・サーバー時刻

※ 定義の細部が数字を動かします。たとえば完了率の分母を「ページを開いた数」に変えると、同じ体験でも数字はおよそ半分に見えます。だから定義は、数字を見る前に固定します。

記録の仕組み

数えているのは、 この4つの瞬間。

今の構成で診断が記録するイベントは、次の4つだけです。記録はセッション単位で、氏名やメールアドレスは含まれません。どの瞬間が何として数えられるかを、順にご覧ください。

STEP 1 / 4

開始

quiz_start

「はじめる」をタップした瞬間に記録します。ページを開いただけでは数えません — 眺めて離れた方まで分母に入れると、完了率が実態より低く見えるからです。

開始 = 「はじめる」のタップ

進み具合

方法の限界

都合の悪いことから、 先に。

この比べ方は、無作為の実験ではありません。避けられない偏りが6つあり、うち5つは私たちに有利な方向へ働きます。この一覧は、最終報告書の見出しと同じページにそのまま載せます。

数字がふくらむ

B1 — 自己選択

診断を受けるかどうかは、お客様が自分で選びます。自分から診断を選ぶ方は、もともと購入に近い方です。

数字がふくらむ

B2 — 関与の深さ

完了までには何度もの操作があります。深く関わったセッションは、その中身が何であれ高めのCVRになりがちです。

数字がふくらむ

B3 — クーポン

受けた方だけが10%の割引を受け取ります。差の一部は、診断ではなく割引そのものの分です。

数字がふくらむ

B4 — 離脱の偏り

途中でやめた方は「受けた方」から外れ、比較側に数えられます。買う気の薄い層が比較側に寄ります。

数字が目減りする

B5 — デバイスまたぎ

スマホで診断し、PCでクーポンを使わずに買うと、比較側に数えられます。唯一、私たちに不利へ働く偏りです。

序盤だけふくらむ

B6 — 目新しさ

新しい要素は、最初の数週間だけ余分に注目を集めます。だから平均ではなく、週ごとの推移で見ます。

偏りをそのままにしない、3つの手当て

比較の相手を揃える

B1 · B2 · B4

見出しの比較は「商品ページを2回以上見た方」に限定します。全体との差が大きいときは、その差の大きさも示します。

割引を明言する

B3

測っているのは「診断+10%クーポン」だと、報告書の1行目に書きます。診断だけの効果としては書きません。

週ごとに見る

B6

4〜8週間をひとつの平均に丸めません。続く差と、薄れていく差は、別の結果です。

3つとも「打ち消し」ではなく「抑え」です。それでも残る分は、次の言えること・言えないことの線引きで扱います。

読み方

この数字が言えること、 言えないこと。

測定の価値は、言えることの大きさより、言えないことを言わない節度で決まると考えています。

言えること

  • 診断を完了しクーポンを受け取った方と、そうでない方のCVR・AOVに、同じ期間でどれだけ差があったか。
  • 完了率・クリック率など、診断そのものがどれだけ使われたか。
  • その差が4〜8週間のあいだ、続いたのか薄れたのか。

言えないこと

  • 診断がその差の「原因」だと言い切ること。
  • 店舗全体のCVRが同じ割合で伸びる、という読み方。
  • 割引なしでも同じ差が出る、という断定。

「原因」まで言うには、診断を無作為に出し分ける実験が必要です。リンク設置型の今回の構成では出し分けができないため、できないことをできるように装わず、限界として明記しています。出し分けは次の段階(ウィジェット型)で可能になり、今回の結果を確かめ直す正しい手段です。

打ち切りの基準

足りないまま、 報告しません。

数字が信用に足るための最低ラインを、開始前に決めています。期間の終わりに届いていなければ、期間を延ばします。見栄えの良い「足りない数字」は、無い数字より悪いからです。

4週間以上

測定期間

平日と週末、月初と月末。買い方の波をひとまわり以上またいで測ります。

400件以上

診断の完了数

これを下回ると、数ポイントの差はノイズと見分けられません。

30件以上

診断経由の注文数

これを下回るAOVは、1件の大きな注文だけで動いてしまいます。

4,000以上

比較側のセッション数

比較側のCVRが安定して読める最低ラインです。

開始前に、御社の現在のアクセス数でこの床に届くかを一緒に試算します。届かない見込みのときは、その場でそうお伝えします — 届かない測定を4週間走らせても、確かめられるものがないからです。

合格の条件

最後の関門は、御社の納得です。

上の4つの床を、すべて満たしている。
診断経由CVRが、開始前に合意した幅だけ比較CVRを上回っている。合格ラインの欄は、御社と決めるまで空欄です。
AOVが比較側を下回っていない。
偏りの一覧を読んだうえで、御社が「この数字なら信用できる」と言えること。

私たちだけが信じている数字は、合格ではありません。

よくあるご質問

測り方について、 よく訊かれること。

このページの設計を、実際にご質問をいただく順に並べ直しました。答えは、上のどこかに書いてあることと同じです。

診断の効果は、どうやって測りますか?

開始前に文書で方法を固定し、同じ期間に診断を完了した方と、していない方の実際の数字を比べます。指標は6つ、それぞれ式で先に定義して、途中で変えません。測っているのは「診断+10%クーポン」の効果であり、診断だけの効果として報告することはありません。

何と比べるのですか。比較の相手はどう決めますか?

同じ期間に、診断を完了していないセッションと比べます。見出しの比較は「商品ページを2回以上見た方」に限定し、全体の数字も併記します。無作為に出し分ける実験ではないので、この選び方に残る癖は隠さず、B1〜B6の一覧として報告書の同じページに載せます。

「診断経由の注文」は、どう定義して数えますか?

クーポン(SHINDAN10)が使われたか、診断からのリンク印(UTM)を伴う注文だけを診断経由と数えます。診断の完了から7日以内に限ります。判定は御社の注文データ側で行われるため、スマートフォンで診断してパソコンでクーポンなしに購入された場合は、比較側に数えられます。迷う場合は、数字が目減りする側に倒してあります。

この測り方には、どんな偏りがありますか?

避けられない偏りが6つあります。自己選択・関与の深さ・クーポン・離脱の偏り・目新しさの5つは数字がふくらむ方向へ、デバイスまたぎの1つは目減りする方向へ働きます。手当ては3つ — 比較の相手を揃える、割引を明言する、週ごとに見る。いずれも打ち消しではなく抑えです。

報告を出すのに、どれくらいの規模が必要ですか?

床を4つ決めてあります。測定期間4週間以上、診断の完了400件以上、診断経由の注文30件以上、比較側のセッション4,000以上。期間の終わりにどれかが届いていなければ、期間を延ばします。足りないまま報告は出しません。開始前に、御社の現在のアクセス数で床に届くかを一緒に試算します。

合格ラインは、誰がどこに決めますか?

御社と一緒に決めます。合格ラインの欄は、それまで空欄のままにしてあります。判定は「リフトあり」「リフトなし」「データ不足」の三択で、報告の形式も開始前に固定します。形式が先に決まっているので、都合の良い切り口をあとから選ぶことができません。

この数字から、診断が原因だと言えますか?

言えません。原因まで言うには、診断を無作為に出し分ける実験が必要です。リンク設置型の今の構成では出し分けができないため、そこは方法の限界として明記しています。言えるのは、同じ期間にどれだけ差があったか、その差が4〜8週間のあいだ続いたのか薄れたのか、までです。出し分けは次の段階(ウィジェット型)で可能になります。

次の一歩

測り方から、 話しませんか。

御社のアクセス数で床に届くかどうかの試算から始められます。診断そのものは、動くデモでいつでもご確認いただけます。

表現の考え方は 薬機法への配慮 にまとめています。