「強化学習です」と言われて作ったA/Bテスト。3週間後、初めての結果を覗いたらまだ何も言えなかった話

Before:あの日、大きな要望を小さなテストに翻訳した
少し前に書いた記事で、個人開発サイト「どこいく」の話をしました。「アクセスが減っている、強化学習を入れてほしい」というかなり大きな要望を受け取ったとき、そのまま飛びつく前に手元の数字を確認して、実際には「トップページの検索ボタンの文言を3パターンに分けて比べる」という、身の丈に合った軽量なA/Bテストに落とし込んだ、という話でした。

あの記事の最後に、こう書きました。「結果が出るのはもう少し先になりそうです。バリアントごとの数字に差がついたら、またこの続きを書こうと思います。」

3週間ほど経ったので、今日はその続きです。

きっかけ:そろそろ覗いてみてもいいんじゃないか
A/Bテストを仕込んだだけで放置していたわけではなく、ユーザーがどのボタンを見てどのボタンを押したかは、裏側ではずっと記録され続けていました。ただ、普段使っているGA4の画面(探索レポート)は過去に何度か動作が不安定だった経験があったので、今回は最初から分析用のデータベース(BigQuery)に直接問い合わせて、生のイベントデータを見てみることにしました。

3パターンの内訳はこうです。

・「空室を探す」(いつも通り。control)
・「この日程で検索する」(入力した日付を主語にする言い方。date_specific)
・「今すぐ空室を見る」(急かす言い方。urgency)

行動:検索ボタンを押した人が、実際にホテルをクリックしたか
検索ボタンを押した人の数(search_submit)のうち、実際にホテルのカードまでクリックした人の割合(hotel_click)をパターンごとに数えてみました。

・空室を探す(control):ユーザー13人、検索27回のうちクリック3回(約11.1%)
・この日程で検索する(date_specific):ユーザー14人、検索34回のうちクリック4回(約11.8%)
・今すぐ空室を見る(urgency):ユーザー8人、検索15回のうちクリック3回(約20.0%)

数字だけ見ると「今すぐ空室を見る」が一番良さそうに見えます。正直、自分でもその数字を見た瞬間は「おっ」と思いました。

でも、ユーザー数は8人、クリック数は3回です。コインを8回投げて3回表が出たくらいの話で、これをもって「急かす言い方の方が優れている」と結論づけるのは、さすがに無理があります。たまたま良さに偏っただけ、という可能性のほうがまだ大きいはずです。

アフター:「まだ何も言えない」という、正直な結果
3週間かけて貯まったデータを見て出した結論は、「どのパターンが良いとは言えない」でした。地味ですが、これが今の実力に対して正直な結論だと思っています。

無理に勝者を決めようとすれば、今日の数字だけを根拠に「今すぐ空室を見る」を採用することもできました。でも、母数が一桁〜十数人のテストでそれをやると、次に数字が揺れたときにまた同じ議論を繰り返すことになりそうです。なので今回は、結論を急がずにもう少しデータを貯めてから見る、という判断にしました。

メッセージ:小さく始めたことは、小さく終わってもいい
「強化学習にしてほしい」という大きな要望を、現実のサイズに合わせて小さなテストに翻訳したところまでは、前回の記事に書きました。今回分かったのは、小さく始めたものは、最初の結果も小さいまま出てくる、ということです。それ自体は当たり前のことですが、実際に自分の手でデータを数えてみるまでは、ちゃんと実感できていなかった気がします。

副業や個人開発をしていると、何か試したらすぐに「成功」か「失敗」かの答えが欲しくなります。でも今回みたいに、「まだ何も言えない」という結果をそのまま受け止めて、焦らず次のデータを待つ、という選択肢があってもいいんじゃないかと思いました。

もう少しデータが貯まったら、またこの続きを書こうと思います。