デジタルマーケティング施策の効果評価と統計検定

統計検定の勉強をするモチベーションを高めるべく、今回はデジタルマーケティング施策の評価分析をテーマに、統計検定に出てくる手法が実際の業務でどう使えるかについて書きました。

ABテストの評価をする

キャンペーンのLP(Landing Page)パターンや新しいメールキャンペーン、新しいリコメンドアルゴリズムなどのユーザー反応をABテストで評価する場合、その効果の差が統計的に有意な違いなのかを見て、効果の大きさから実務的な意義（ビジネスインパクト）を調べます。

有意かどうかを見る場合、注目する指標によって仮説検定で用いる統計量と分布が変わります。クリック率やCVRなど　二項分布を使った比率で表現できる指標の場合は母比率の差の検定（Z検定）を使います。滞在時間などの指標ではパターンAとBの平均値の差の検定（t検定）を使います。

ビジネスインパクトはリフト率で評価します。リフト率が低い施策は実現する（継続的に実施する）価値が低いといえます。

その他、分散比を見て施策効果の安定性を見たり、区間推定をして幅で期待効果を示したりできます。リフト率の区間推定も可能です。

3つ以上のケースがある時の評価をする

比較評価したいパターンが3つ以上ある場合、二つずつ何度も検定をしたりすると多重検定による誤判断が発生しやすいので、別のアプローチが必要になります。

分散分析がその代表的なアプローチで、パターン間の分散とパターン内の分散の比を統計量としたF検定を行います。これにより、全てのパターンの平均値が同じ（帰無仮説）か、少なくとも一つのパターンは異なるか　のいずれかがわかります。

どの組み合わせに有意に差があるのかは分からないので、それを見るには多重比較アプローチ（複数ある）が必要ですが、おそらく統計検定（準1級）の範囲の外側かと思います。

重要なことは、候補施策は従来のものを含めて2つに絞り込む（ABCテストなんかにしない）ことだと思います。

特定の要因の影響を除去して評価をする

曜日や性別の影響などを除外した真水効果を見たい　という場合、重回帰分析でその影響を統制しながら施策効果を回帰で推定するアプローチがあります。

実際はそんなに綺麗に影響が除去できる訳ではなく、上手くいったら儲けものくらいだと私は思っています。　というか、うまくいった記憶が見当たらないです。

重要なことは、特定の要因の影響を除外した評価がないと意思決定できないという状況に陥らないよう、計画段階で注意して避けることだと思います。

ABテストができなかった時の評価をする

SEO施策のように、そもそもABテストを実施するのが困難な場合、ABテストの評価に比べると正しい評価を行う難易度はぐっと上がります。色々なアプローチがありますが、マッチングとDID(Differences in Difference)を挙げます。

マッチングは、施策実施した群とそうでない群から、似た人たちをくくりだしてきて、そのグループ間で施策効果を評価します。擬似的にABテストの状況を作り出していると言えます。

DIDは施策実施しなかった群のBefore, Afterの変化をトレンドとみなし、施策実施した群からそのトレンド分を差し引いて施策効果を導出します。

マッチングもDIDも統計検定の範囲外だと思いますが、それぞれロジスティック回帰・重回帰分析を使って解きます。私も実務上何度も使う場面に出会った、重要なアプローチだと思います。

データが少ない時の評価をする

ABテストを実施できても、サンプル数が少ないと正規近似が効かず、ｐ値が不安定になるので有意差が出ない結果になりがちです。そのため、仮説検定アプローチはやめて、ベイズの定理を使って事前分布からデータ（ABテスト結果）をもとに事後分布を更新するアプローチがとられます。

特にCVRなどの確率や割合で表す指標は、ベータ分布を事前分布として使うと事後分布もベータ分布になり、更新後の分布形状も以下のように簡単に表現されるので扱いやすいです。

単純に小サンプルであることを無視して、A,BパターンのCVR値で比較評価する場合よりも、事前分布からの更新という形をとることで、極端な値の影響を抑えられます。またP(B>A)やP(Lift > 5%)のような、意思決定用の指標もシミュレーションで導出できます。

ただし、デジタルマーケティングにおいてサンプル数が集められない場合は、レアイベント（お金にならない）や、テスト設計に問題がある場合も考えられるので、そこまで重要でない気もします。

データに偏りのある時の評価をする

ABテストの評価で平均値の差の検定（t検定）をする場合、対象となるデータが従う分布が正規分布であるとか、ＡとＢの両群の分散が同じである、外れ値は大きな影響を与えない等といった前提条件の仮定を置いています。
ですが実際は、正規分布よりも裾が長い分布だったり、等分散でなかったり、外れ値が強かったりするとt検定が誤検出やパワー低下を引き起こします。

そのような場合は分布を仮定しない、ノンパラメトリックな検定アプローチが取られます。これはサンプル数が少ない場合にも一定の有効性を持っているそうです。ウィルコクソンの順位和検定などが統計検定準1級でも範囲に入っています。

デジマケの効果分析でこれを使っているケースはまだ見たことがないです。

ABテストを設計する

テストに必要なサンプル数や期間を見積もります。指標が何で、どれくらいの差が出るか、有意水準などを想定して逆算します。

差が大きく、判定条件を緩めるほどサンプル数は少なくて済みます。

典型的なABテストの評価やサンプル数見積もりは、専用のエクセルシートを用意して、必要な数値を入れると一発評価されるというのがよくある仕組みかと思います。

さいごに

これまでに書いた問題と手法を、統計検定でいうとそれぞれ何級相当か、ChatGPTに聞いたところ、以下のような回答を得ました。

データ活用の民主化という文脈で、マーケの施策評価はマーケターが自分でやるとよいと思っているのですが、これを見る限り2級の取得を推奨するのがよいかなと思いました。

記憶力が落ちているので、こうやって学習内容と何かの文脈を合わせないと、勉強内容が全く頭に入ってこないのですが、今回もこの記事を書くことで、統計検定の勉強をやる気が少し上がりました。