広告の「本当の増分」をどう測る？インクリメンタリティ検証の始め方。
「この広告、本当に効いてるの？」
「止めたら、売上は下がるの？」
「それで、いくら儲かるの？」
経営者から、よく聞く問いだ。そして、すぐには答えにくい問いでもある。
管理画面を開けば、コンバージョンの数は出ている。CPAもROASも出ている。けれど、その中には「広告がなくても買っていた人」も入っている。管理画面の数字は、広告が届いた人の成果であって、広告が生んだ成果とは限らない。
広告が生んだ成果のことを、「増分」と呼ぶ。英語ではインクリメンタリティだ。広告を出した世界と、出さなかった世界の差。それが、本当の増分になる。
私は支援の中で、広告を出さない人をつくって比べるテストも、地域を分けて比べるテストも、MMM（マーケティング・ミックス・モデリング）も、必要に応じて使い分けている。この記事では、その考え方と、最初の1回の始め方を書いてみたい。
前回は、AIが動き出す前に、人が決めておくことを書いた。今回は、その結果を何で測るのかの話でもある。
「管理画面のコンバージョンは、全部広告のおかげですか？」
まず、管理画面の数字と、本当の増分は、どれくらいずれるのか。
有名なのは、eBayの研究だ。自社の名前で検索した人に出す広告（指名検索広告）を止めて比べたところ、短期的な効果は測定できなかった。広告がなくても、その人たちは自然検索から来ていたからだ。
Facebookでの大規模な比較実験を使った2019年の研究では、広告を見た人と見なかった人を単純に比べる方法だと、実験の半分で、売上の伸びが本当の値と3倍以上ずれていた。
https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf
ただし、ずれは「大きく見える」方向だけではない。計測会社のHausが640件の検証を集計した2025年の報告では、Metaの管理画面の数字（クリックから7日以内）は、本当の増分より平均15%小さく出ていた。DtoCブランドに限った数字だが…
つまり、管理画面の数字は、実態より大きいこともあれば、小さいこともある。どちらなのかは、測らないと分からない。
ある経営者の言葉も、1つ紹介しておこう。
Airbnbのブライアン・チェスキー氏は、2021年のインタビューで、コロナで旅行が止まったときにマーケティングをほぼすべて止めたが、マーケティングを再開する前でも、トラフィックは前年の95%まで戻ったと話している。
これは比較実験ではなく、コロナという特殊な状況での話だ。それでも、「止めてみたら、思ったほど変わらなかった」という話は、規模を問わず珍しくない。
増分を測る方法は、どれも「比べる」
増分を測る方法はいくつもあるが、根っこは1つだ。広告を出した側と、出さなかった側を比べる。分け方で、大きく3つに分かれる。
1つめは、人を分ける方法だ。
広告を出す人と、出さない人をランダムに分ける。GoogleのConversion LiftやMetaのLift Studyが、この方法を使っている。
2つめは、地域を分ける方法だ。
広告を出す地域と、出さない地域を分ける。
Googleが公開しているGeoXや、時系列の比較に使うCausalImpact、MetaのGeoLiftといった道具がある。店舗の売上など、ネット以外の成果も見られるのが強みだ。
3つめは、期間で止めて比べる方法だ。
一番手軽だが、季節や景気の影響と区別しにくく、3つの中では一番弱い。
MMMは、これらとは違う。過去のデータから、各チャネルの効果を推定する方法で、実験ではない。ただ、実験の結果を使ってMMMを補正できる。この話は、最後に書く。
公式の条件も、確かめておく（2026年10月時点）。GoogleのConversion Liftは、最低5,000ドルの予算と、1,000件以上のコンバージョンを条件にしていて、期間は最低14日を推奨している。
地域を分ける方法では、Googleの解説が、テストの期間を3〜10週間とし、購入の1サイクル以上を含めるよう勧めている。テストのあとには、効果が消えるのを待つ期間も置く。
国内でも、地域を分けた検証の事例は公開されている。ライオンは、都道府県を2つのグループに分け、テレビCMだけのグループと、テレビCMにYouTubeを足したグループを比べた。YouTubeを足した分で、売上が8%純増した。
転職サービスのdodaは、YouTubeの広告を出した地域と出さなかった地域を比べ、獲得数が5%純増したことを確かめている。純増分あたりの獲得単価は、獲得向けの施策の2倍弱だった。どちらもGoogleが公開している事例だ。
最初の1回は、指名検索広告から
では、最初の1回は何から試すのか。私なら、指名検索広告から始める。
理由は3つある。1つめに、増分がいちばん疑わしい。管理画面では成果が大きく見えやすいが、自然検索と重なっている可能性が高い。
2つめに、止めても戻せる。止めた期間の広告費は浮くし、結果が悪ければ、すぐに再開できる。
3つめに、社内の説得がしやすい。計測会社のRecastは、指名検索を「最初の検証に最適」と書き、テレビを止める検証などに比べて、社内の合意がずっと取りやすいとしている。
https://getrecast.com/branded-search-tests-the-fastest-way-to-teach-your-org-incrementality/
ただし、指名検索広告は「止めても大丈夫」とは限らない。結果を大きく左右するのは、競合が自社の名前で広告を出しているかどうかだ。
eBayと同じ研究者たちが、自動車情報サイトのEdmundsで行った実験では、米国の210地域のうち105地域で指名検索広告を止めた。
すると、自然検索に戻ってきた流入は、半分ほどだった。残りは、Edmundsの名前で広告を出していた競合に流れたと考えられている。
Googleの2012年の調査でも、自然検索で1位に表示されているときの広告クリックのうち、広告がなければ生まれなかったクリックは50%だった。指名検索は、たいてい自然検索の1位に出る。
Hausの2025年の分析では、競合が多い指名語では、82%の検証で有意な増分が出た。競合が少ない指名語では、35%にとどまった。
つまり、指名検索広告の増分は、会社によって大きく違う。だからこそ、自社で測る価値がある。
設計はシンプルでいい。一部の地域で止めるか、全体を1〜2週間止める。セールや繁忙期は避ける。そして、見るのは広告のクリックではなく、指名検索全体からの流入と、売上だ。止めている間に競合が自社の名前で広告を出してきたかも、確かめておく。
次に、リターゲティングと、予算の大きい新規獲得の広告
指名検索で「比べる」ことに慣れたら、次に試すのは、リターゲティング広告と、Metaなどの新規顧客向けの広告だ。
リターゲティングは、「放っておいても買った人」を確かめる
リターゲティング広告は、一度サイトに来た人に出す広告だ。疑わしいのは、放っておいても買った人に広告を出しているのではないか、という点だ。
ただ、効かないとは限らない。広告を出すはずだった人を記録して比べる「ゴースト広告」という方法を使った研究では、リターゲティング広告によって、サイトの訪問が17%、購入が11%増えていた。
https://conference.nber.org/conf_papers/f84173.pdf
人を分けて比べやすいので、比較的少ない件数でも設計しやすい。
新規獲得の広告は、予算が大きいところから
Metaなどの新規顧客向けの広告は、多くの会社で予算がいちばん大きい。だから、管理画面の数字と実態がずれていたときの影響も大きい。
さきほどのHausの集計では、Metaの広告は、主要な指標を平均で約19%押し上げていた。検証の平均期間は18.6日で、終わったあとに平均8.8日、効果が残るのを見ていた。ただし、Hausの顧客は大きな予算の広告主が中心だ。
検証には、MetaのConversion Liftを使うか、地域を分けて比べる。
アプリなら、インストール広告も
アプリの事業なら、インストール広告も候補に入る。疑わしいのは、自然に入ってくるはずのインストールを横取りしていないか、という点だ。
よく知られているのは、Uberの話だ。
Uberのパフォーマンスマーケティングを率いていたケビン・フリッシュ氏は、2020年のポッドキャストで、年間1億5,000万ドルの広告費のうち1億ドルを止めても、ほとんど変化がなかったと語ったと伝えられている。
これも比較実験ではなく、本人の発言として受け止めたい。
配信先のネットワークごとに止めて、インストールの総数がどう動くかを見る。
動画は、商材でショートと長尺を分ける
動画の広告なら、私は商材によって、ショート動画か長尺の動画かを分ける。そのうえで、縦型の動画広告面か、YouTubeあたりで検証することが多い。
動画は、効果が数日遅れて出たり、広告を止めたあとも残ったりする。dodaの事例でも、効果は数日遅れて出始め、終了後も数週間残っていた。だから、地域を分けて比べ、終わったあとの期間まで含めて見る。
始める前に、決めておくこと
どの広告から始めるにしても、始める前に経営層と決めておくことべきことがあると思っている。
1つめは、問いを1つに絞ること。
「この指名検索広告は、売上を増やしているか」のように、1回の検証で答える問いは1つにする。
2つめは、何で判断するか。
売上なのか、新しい顧客の数なのか。
3つめは、分け方。
人を分けるのか、地域を分けるのか。広告を出さない側を、どれくらいの割合にするのか。
4つめは、期間。
購入の1サイクル以上と、効果が消えるのを待つ期間を含める。
5つめが、いちばん大事だ…
「結果がこう出たら、こうする、を先に決めておく。」
広告計測に詳しいトム・レナード氏は、MarTechへの寄稿で「テストを始める前に、起こりうる結果を書き出し、それぞれの場合に何をするかを決めておく」よう勧めている。
https://martech.org/run-fewer-incrementality-tests-and-get-more-from-them/
増分が大きければ、予算を増やす。小さければ、減らす。どちらとも言えなければ、もう一度確かめる。これが決まっていないと、結果が出てから「さて、どうしよう」となり、結局は何も変わらない。
前回の記事で書いた、運用を始める前に経営と決めておくことと、同じ考え方だ。
コンバージョンが少ない会社は、どうするか
正直に書いておくと、コンバージョンが少ない会社ほど、増分の検証は難しい。
25件の広告実験を分析したルイス氏とラオ氏の2015年の研究では、投資対効果の推定の幅が、中央値で100ポイントを超えていた。広告の効果は、売上の自然なぶれに比べて小さく、見分けるには大きな規模がいる。
それでも、やりようはある。
1つは、差が大きく出る検証を選ぶことだ。
1つのチャネルを丸ごと止める検証は、少し予算を減らす検証より差が大きく出やすい。指名検索広告から始めるのが向いているのは、この意味でもある。
ほかには、期間を延ばす。地域ごとの売上データを使う。過去のデータが十分にあれば、MMMで見る。
件数と、見分けられる差の大きさの関係は、仮説を絞る記事で書いた。
途中で「止めると怖い」が出たら
検証を始めると、必ず社内から声が出る。「止めている間に、売上が落ちたらどうするのか」。
その怖さは、もっともだ。だから、どこまで下がったら戻すのかという線を、始める前に決めておく。線を決めておけば、途中で数字が揺れても、慌てて止めずに済む。
逆に、途中の数字を何度も見て、良さそうなところで判定するのも避けたい。途中で何度も判定すると、偶然の差を本物と見誤りやすくなる。
結果は、3つの形で経営に渡す
検証の結果を支援先や経営層に見せるとき、私は3つの形で渡している。端的な資料と、詳細なグラフ付きのダッシュボード、そしてサマリーだ。
端的な資料には、結論と、次の判断だけを書く。増やすのか、続けるのか、減らすのか、もう一度確かめるのか。
ダッシュボードには、詳細なグラフを置く。広告を出した側と出さなかった側の推移、純増分、広告費あたりの純増の売上（iROAS）、純増分あたりの獲得単価。そして、推定の幅も見せる。
サマリーは、資料とダッシュボードの間をつなぐ。何を、どう比べて、何が分かって、何がまだ分からないのか。
ここで1つ、気をつけたいことがある。「統計的に有意な差が出なかった」は、「効果がなかった」と同じではない。差がないのか、件数が足りなくて見分けられなかったのかは、別の話だ。推定の幅を見せるのは、そのためでもある。
1回の検証を、MMMにつなぐ
1回の検証で分かるのは、1つのチャネルの、その期間の増分だ。それだけでは、すべての予算配分は決められない。
そこで、MMMとつなぐ。私はMMMを徹底して行い、効いているチャネルの分析と、次の施策の仮説出しに使っている。そこに、検証の結果を重ねる。
GoogleのMMMのソフトウェアであるMeridianには、実験の結果を使ってMMMの推定を補正する仕組みがある。
ただし、Googleの解説は、短い実験では長い期間の効果をとらえきれないことがあるとも書いている。だから、実験とMMMは、どちらか一方ではなく、組み合わせて使う。
回し方はこうだ。MMMで、予算の配分と、確かめたいチャネルを決める。検証で、そのチャネルの増分を確かめる。その結果で、MMMを補正する。これを繰り返すほど、配分の判断の精度が上がっていく。
Marketing-OSでは、MMMの簡易版（MMM Lite）を、日次から年次の数字や需要予測と同じ画面で見られるようにしている。人の手でMMMの分析を行うプログラムや、検証と分析を社内でできるようにする内製化の支援もしている。
「この広告、本当に効いてるの？」
次にこの問いを聞いたら、私はこう聞き返したい。「指名検索広告を、どこか一部の地域で2週間止めたら、売上はどれだけ変わると思いますか」
答えが分からないなら、それが最初の検証になる。
増分の検証を、一緒に設計する
「この広告が本当に効いているのか分からない」「止めたら売上が下がるのか、怖くて止められない」「管理画面の数字を、経営にどう説明すればいいのか分からない」——そんなご相談を受けています。
広告を出さない人をつくって比べる検証、地域を分けた検証、MMMを、必要に応じて組み合わせ、結果を端的な資料とダッシュボードで経営に渡す。その設計を、意思決定の編集者として、経営者と並んで進めています。
顧問・アドバイザリーとして請けているほか、noteとあわせて、毎週配信中のニュースレター（theLetter）では、こうした思考を継続的に届けています。
ニュースレターのご案内
経営やマーケティングの現場で見てきた「マーケティング」「ブランディング」「新規事業」「事業グロース」等の話を、構造化して書いていきます。
事業成長ノウハウとブランディング・マーケ・PRの事例や、世の中の最新トレンドもお届けしています。
「Business Growth Letter」
お知らせ
📝Business Growth Club
SNSに出せない経営・マーケティング・ブランディング・事業グロースの裏側、業界の構造、顧問・アドバイザリーとして見てきたリアル——を、毎週書いています。Business Growth Club に入れば、過去記事含めすべて読み放題です。メンバー限定のSlackにも参加可能です。
→ Business Growth Club に参加する
🏢 個別の壁打ちを求める経営者の方へ
法人向けに、個別の壁打ちや経営支援が必要な方はこちらプランへ。「ブランディング・マーケティングの判断・実行プロセスの改善」も含めて、現場で一緒に考えます。月1回のオンライン壁打ちの他、専用のSlackチャネルで随時チャットで日常相談も可能です。（有料の過去記事も読み放題→社内共有も可能）。
→ 法人向けグロース顧問支援プラン
📚 著書『設計と編集シリーズ』
──設計と編集シリーズ（全5作）。生成AI時代のマーケティングと、事業グロースの設計について書いた書籍シリーズです。
・PDF版無料配布中
・Kindle版99円で販売中
・POD（ペーパーブック）版1,980円で販売中
🚀 Marketing-OS
書籍『設計と編集』シリーズ連動の、マーケティングの意思決定を構造化するAI CMO搭載SaaS（BPOプランもあり）。
意思決定を最高到達点へ。
サイト・CRM・SFA・広告・SNSのデータを横断して観測・分析し、KPIや施策の矛盾を診断、判断を蓄積する。AI CMOを搭載した、マーケティング組織を強化するためのOSです。
その他、相談・依頼はこちら
まずは気軽に、HPやオフィシャルウェブサイトをご覧いただき ご連絡ください。各種SNSのフォローやDMも大歓迎です。
