広告クリエイティブを大量に作る前に、検証する仮説をどのぐらいに絞ればいい？
「このキャンペーンだと、何本ぐらい仮説や訴求軸、クリエイティブパターンをつくればいいですかね？」
支援先で、本当によく聞かれる問いだ。
生成AIで、クリエイティブはいくらでも作れるようになった。10本でも、100本でも作れる。だからこそ、何本作ればいいのかが分からなくなっている。
この問いに、私は本数では答えない。先に考えるのは、そのキャンペーンで、いくつの仮説を検証できるのかだ。
そして、支援の中で確信していることがある。大量のA/Bテストやクリエイティブの本数で当てにいくより、丁寧なリサーチと精緻な仮説出しのほうが、当たる確率を上げられる。
この記事では、その理由を、少し数字を使って書いてみたい。
前回は、AIで量産するときに、変えない「顔」と、変える「角度」を分ける話を書いた。今回は、その角度をいくつ試すのか、という話でもある。
「どれが勝ったか」は分かる。「なぜ勝ったか」は、誰も言えない
先に、よく見る場面を書いておく。
100本のクリエイティブを回した。管理画面には、勝った案と負けた案が並んでいる。どれが勝ったかは分かる。でも、なぜ勝ったのかを聞くと、誰もはっきり答えられない。
理由が分からないから、次に同じような案を作れない。テストは終わらず、予算は細かく割れていく。そして、先月勝ったはずの案が、今月は負けている。
支援の現場では、どれもあるあるだ。業種や規模を問わず、どの会社でも見る。
作る本数は、確実に増えている。サイバーエージェントが大手広告主100社に行った2025年の調査では、制作量が増えたと答えた企業が69%、広告動画に限ると86%だった。
アプリ広告では、多く出稿しているゲーム以外のアプリが、1四半期に平均2,365本のクリエイティブを作っている（AppsFlyer、2025年）。前年より18%増えた。
本数は増えた。では、学びも同じだけ増えたのか。私は、ここに一番の問題があると思っている。
1つの仮説に答えるには、思っているより多くの件数がいる
ここからが、この記事で一番数字の多い章になる。少しだけ付き合ってほしい。
広告のA/Bテストで「この案のほうが良い」と言うには、偶然ではないと言えるだけの件数がいる。どれだけいるかは、計算で出せる。
統計でよく使う前提（有意水準5%の両側検定、検出力80%）で、2つの案のコンバージョン率を比べるとする。もとのコンバージョン率が2%のとき、1案あたりに必要なコンバージョン数は、次のようになる。
10%の差（2.0%→2.2%）を見分けるなら、約1,600件
20%の差なら、約420件
30%の差なら、約200件
50%の差なら、約80件
面白いのは、もとのコンバージョン率が1%でも5%でも、必要なコンバージョン数はほとんど変わらないことだ。見分けたい差の大きさで、ほぼ決まる。
計算式も書いておく。1案あたりに必要な人数を n、2つの案のコンバージョン率を p1、p2、その平均を p̄ とすると、次の式で出せる。
n ＝ ［1.96 × √(2p̄(1−p̄)) ＋ 0.84 × √(p1(1−p1) ＋ p2(1−p2))］² ÷ (p2 − p1)²
この n に、コンバージョン率をかければ、必要なコンバージョン数になる。より手軽な目安として、統計家のエヴァン・ミラー氏は「16 × p(1−p) ÷ 差の2乗」という近似を紹介している。
ここから、検証できる仮説の数が見えてくる。
検証できる案の数 ≈ 期間中のコンバージョン数 ÷ 1案あたりに必要な件数
この「案」には、比べる基準になる今の広告も含む。だから、仮説の数は、ここから1を引いた数になる。
たとえば4週間で比べるとして、月のコンバージョン数ごとに当てはめると、目安はこうなる。
月300件なら、10%や20%の差は、そもそも見分けられない。50%くらいの大きな差なら、今の広告と2つの仮説、計3案くらいまで比べられる。
月3,000件なら、20%の差で6案くらい、30%の差で13案くらい比べられる。ただし10%の差は、まだ見分けられない。
月30,000件なら、10%の差でも17案くらい、30%の差なら計算上は100案を超えて比べられる。
月に数万件のコンバージョンがある会社なら、大きな差を狙う限り、たくさんの案を比べられる。正直に書いておくと、そういう会社は確かにある。
ただ、多くの会社のコンバージョン数は、月に数百件から数千件だ。その規模では、1回の検証で比べられる仮説は、多くても数個になる。
プラットフォームの目安も、この計算と合っている。Google広告のDemand Genの比較テストは、比べる案ごとに最低50件のコンバージョンを求めている。比較テスト全般には、最低4〜6週間の期間を勧めている。
そして、1回のテストで比べられる案の数も、どのプラットフォームでも数案だ。Metaのクリエイティブの比較テストは2〜5案（開発者向けの文書）、LINEヤフー広告のA/Bテストは最大5つの広告グループまでとなっている。
100本を同時に比べると、偶然の勝者がほぼ確実に生まれる
件数の話だけではない。比べる案が多いほど、別の問題が大きくなる。偶然の勝者だ。
有意水準5%とは、本当は差がないのに「差がある」と判定してしまう確率が5%ある、という意味だ。1回の比較なら5%で済む。だが、比べる回数が増えると、どこかで偶然の勝者が出る確率が積み上がっていく。
今の広告と、ほかの99本を比べるとする。本当はどれも差がなかったとしても、少なくとも1本が「勝ってしまう」確率は、99.4%になる。ほぼ確実に、偶然の勝者が生まれる。
偶然の勝者を防ぐには、比べる回数に合わせて判定を厳しくする補正をかける。すると、1案あたりに必要な件数がさらに増える。100案なら、補正なしの2倍以上だ。
もう1つ、知っておきたい数字がある。そもそも、試した施策のうち、本当に効くものはどれくらいあるのか。
A/Bテストの研究で知られるロン・コハヴィ氏らの2022年の論文は、各社の数字をまとめている。
施策が良い結果を出した割合は、Microsoftで33%、Bingで15%、Booking.comやGoogle広告などで10%、Airbnbの検索で8%だった。
https://airbnb.tech/wp-content/uploads/sites/19/2025/10/ABTestingIntuitionBusters.pdf
広告クリエイティブでも、似た数字がある。広告分析ツールのMotionが、2025年秋から冬にかけて出された57万本以上のクリエイティブを分析したところ、予算が大きく集まった「勝ち広告」は、全体の4〜9%だった。
https://content.motionapp.com/hubfs/Benchmarks-Report-2026.pdf
Motionの「勝ち」は、使われた予算の大きさで決めたもので、利益で決めたものではない。それでも、100本作って、勝ちは数本という感覚は、多くの運用者の実感とも合うと思う。
それでも、100本は作っていい
ここまで読むと、「じゃあ、大量に作るのは無駄なのか」と思うかもしれない。そうではない。
いまの配信の仕組みは、たくさんのクリエイティブの中から、人ごとに合うものを選んで届けるようになっている。Metaは、配信の仕組みの中のクリエイティブの数は、今後大きく増える見込みだとしている。
だから、配信のために本数を用意することには意味がある。分けて考えたいのは、「配信のための本数」と「学ぶための仮説」だ。
たとえば、仮説を4つに絞る。それぞれの仮説を、5つの表現で見せる。それぞれの表現を、5つのサイズや尺で作る。これで100本になる。
学ぶのは、4つの仮説のどれが効いたかだ。どの表現、どのサイズが選ばれるかは、配信のAIに任せていい。100本は、4つの仮説を入れる器だと考える。
当たる確率は、本数ではなく、リサーチで上げられる
では、仮説をいくつに絞るのか。そして、どう絞るのか。
ここは、私自身の支援のやり方を書いておきたい。
私が仮説を絞るときに使うのは、過去の分析と、N1分析と、インタビューだ。N1分析とは、1人の顧客を深く掘り下げて、なぜ買ったのか、なぜ選んだのかを理解する分析のことだ。
過去の数字で、何が効いてきたのかを見る。1人の顧客を深く掘る。複数の顧客に、話を聞く。そうして見えてきたインサイトを、徹底的に磨き込む。磨き込んで残ったインサイトの数だけが、仮説になる。
支援を続けてきて、はっきりしたことがある。大量のA/Bテストや、クリエイティブの本数で検証するよりも、丁寧なリサーチと精緻な仮説出しのほうが、当たる確率を上げられる。
これは、私の実感だけの話ではない。数字で見ても、理由が2つある。
1つめは、仮説の質が上がると、偶然の勝者が減ることだ。さきほどのコハヴィ氏らの論文は、もともとの成功率によって、「勝った」と判定された案のうち偽物がどれくらい混ざるかも計算している。
成功率が10%の世界では、「勝った」案の約22%が偽物だった。成功率が33%まで上がると、偽物は約6%まで減る。良い仮説は、当たりやすいだけでなく、テストの結果そのものを信頼できるものにしてくれる。
2つめは、狙う差が大きい仮説ほど、少ない件数で判定できることだ。さきほどの計算のとおり、10%の差を見分けるには1案あたり約1,600件いるが、30%の差なら約200件で済む。
見た目の細かな違いではなく、顧客のインサイトに根ざした大きな違いを仮説にする。そうすれば、少ない件数でも答えが出る。
仮説は、数行で書ける
仮説を書くのに、大きな資料はいらない。数行で書ける。たとえば、次の型だ。
誰に（どんな顧客に）
どんな場面で
どんな悩みや欲求に
どんな約束で応えるか
その結果、どの指標が、どれくらい動くはずか
最後の「どれくらい動くはずか」まで書くと、必要な件数と期間が決まる。ここまで書けない仮説は、まだ磨き込みが足りないことが多い。
もう1つ、判定の基準は、結果を見る前に決めておく。結果を途中で何度も見て、良さそうなところで判定すると、偶然の勝者がさらに増える。
エヴァン・ミラー氏は、途中で何度も結果を見るやり方では、誤って勝ちと判定する確率が、最悪の場合26.1%まで上がると書いている。
仮説と、その結果は、書いて残しておく。何を試して、何が効いて、何が効かなかったのか。それがたまっていくと、次の仮説の精度が上がる。
Marketing-OSでは、仮説の作成から、記録、検証結果の蓄積までを、すべてできるように作っている。AI CMOに相談しながら仮説を磨き、MMM Lite（MMMを用いた分析機能）で、チャネルごとの効果と並べて見ることもできる。
勝った案は、一度疑う
最後に、1つだけ。
テストで勝った案は、一度疑ったほうがいい。偶然の勝者が混ざっているかもしれないし、本物の勝者でも、効果は大きめに見えやすい。たくさんの中から勝ったものだけを選ぶと、たまたま良く出た分まで一緒に拾ってしまうからだ。
だから、大きく予算を移す前に、もう一度テストして確かめる。そして、短期の数字だけでなく、長い期間の効果をMMMで見る。
評価の期間については、以前の記事で書いた。
次に「このキャンペーンだと、何本ぐらい作ればいいですかね？」と聞かれたら、私はこう聞き返すと思う。
「このキャンペーンで、答えたい問いはいくつありますか」
そして、その問いを一緒に磨き込む。本数は、そのあとで決めればいい。
大量に作る前に、仮説を一緒に磨き込む
「何本作ればいいのか分からない」「テストを回しているのに、なぜ勝ったのかが分からない」「勝った案が、次の月には負ける」——そんなご相談を受けています。
過去の分析、N1分析、インタビューからインサイトを磨き込み、検証できる数の仮説に絞る。そして、判定の基準と、結果を残す仕組みをつくる。その設計を、意思決定の編集者として、経営者と並んで進めています。
顧問・アドバイザリーとして請けているほか、noteとあわせて、毎週配信中のニュースレター（theLetter）では、こうした思考を継続的に届けています。
ニュースレターのご案内
経営やマーケティングの現場で見てきた「マーケティング」「ブランディング」「新規事業」「事業グロース」等の話を、構造化して書いていきます。
事業成長ノウハウとブランディング・マーケ・PRの事例や、世の中の最新トレンドもお届けしています。
「Business Growth Letter」
お知らせ
📝Business Growth Club
SNSに出せない経営・マーケティング・ブランディング・事業グロースの裏側、業界の構造、顧問・アドバイザリーとして見てきたリアル——を、毎週書いています。Business Growth Club に入れば、過去記事含めすべて読み放題です。メンバー限定のSlackにも参加可能です。
→ Business Growth Club に参加する
🏢 個別の壁打ちを求める経営者の方へ
法人向けに、個別の壁打ちや経営支援が必要な方はこちらプランへ。「ブランディング・マーケティングの判断・実行プロセスの改善」も含めて、現場で一緒に考えます。月1回のオンライン壁打ちの他、専用のSlackチャネルで随時チャットで日常相談も可能です。（有料の過去記事も読み放題→社内共有も可能）。
→ 法人向けグロース顧問支援プラン
📚 著書『設計と編集シリーズ』
──設計と編集シリーズ（全5作）。生成AI時代のマーケティングと、事業グロースの設計について書いた書籍シリーズです。
・PDF版無料配布中
・Kindle版99円で販売中
・POD（ペーパーブック）版1,980円で販売中
🚀 Marketing-OS
書籍『設計と編集』シリーズ連動の、マーケティングの意思決定を構造化するAI CMO搭載SaaS（BPOプランもあり）。
意思決定を最高到達点へ。
サイト・CRM・SFA・広告・SNSのデータを横断して観測・分析し、KPIや施策の矛盾を診断、判断を蓄積する。AI CMOを搭載した、マーケティング組織を強化するためのOSです。
その他、相談・依頼はこちら
まずは気軽に、HPやオフィシャルウェブサイトをご覧いただき ご連絡ください。各種SNSのフォローやDMも大歓迎です。
