メインコンテンツへスキップ
見出し画像

AIのセルフチェックは、ダブルチェックではなかった。【第4回】


    前回、ChatGPTが間違えるたびに、プロンプトへルールを追加していった話を書いた。

    Heroのカードを確認する。

    Boardを確認する。

    Drawを名乗る前に、本当に次の1枚で完成するのか確認する。

    RiverではBest 5 Cardsを確認する。

    そして最後には、こんなルールも追加した。

    「回答する前に、もう一度確認する」

    これでかなり事故は減る。

    ……と思っていたが、

    甘かった。


    「確認しました。間違っています。」

    たとえば最初の分析で、ChatGPTがHeroのハンドを読み間違える。

    その間違ったハンドを前提に、Flopを分析する。

    Turnを分析する。

    Riverを分析する。

    そして最後に、

    「Hero handを再確認」

    させる。

    これで間違いに気づいてくれるはずだった。

    ところが、普通に同じハンドとして再確認する。

    Drawの判定でも同じことが起きる。

    最初に「これはOESDです」と認識すると、最後のチェックでも、

    「OESDであることを確認しました」

    みたいな顔をして帰ってくる。

    いや。

    そこを確認してほしいからチェックさせてるんや……。

    チェック項目は存在している。

    ChatGPTも「確認した」と言っている。

    なのに間違っている。

    どうやら、

    「もう一度確認して」=「独立したダブルチェック」

    ではないらしい。


    同じ人が、同じ前提で、もう一度考えているだけ

    考えてみれば、人間でも似たようなことはある。

    計算を間違えた本人に、

    「もう一回計算して」

    と言っても、同じやり方で同じミスをすることがある。

    最初に思い込んだ前提があると、その前提そのものを疑うのは意外と難しい。

    ChatGPTにも、かなり似た現象があるように見えた。

    一度、

    「これはOESDだ」

    と判断すると、

    「本当にOESDなのか?」

    をゼロから検証するというより、

    「OESDという前提で、おかしなところがないか」

    を確認しているように見えることがある。

    これではダブルチェックにならない。

    そこで、プロンプトをまた増築することにした。


    Independent Review

    追加したのが、

    Independent Review

    という工程だった。

    考え方は単純。

    最初の分析をしたChatGPTに、

    「最後にもう一度確認して」

    と頼むだけではない。

    分析が一通り終わったあと、

    最初の分析結果を正しいと思わず、入力からもう一度検証する。

    という別工程を作る。

    まず、Hero hand、Board、Position、Action、Pot、SizingといったInputを確認する。

    次に、Made Hand、Draw、Best 5 Cards。

    さらにPot OddsやRangeを確認して、

    最後に初めてStrategyを見る。

    つまり、

    「戦略をもう一度考える」前に、「そもそも何が起きているハンドなのか」をもう一度作り直す。

    単にチェック項目を増やすのではなく、

    チェックする順番そのものを決めた。


    間違っていたら、途中から直さない

    Independent Reviewを入れると、もう一つ問題が出てきた。

    分析の途中でミスを発見したときだ。

    たとえば最初の分析で、

    「HeroにはFlush Drawがあります」

    と判断していたとする。

    レビューで確認すると、実際にはFlush Drawではなかった。

    ここで以前のChatGPTなら、

    「ご指摘の通り、Flush Drawではありません。ただしTurnでは……」

    と、そのまま続きを始めることがある。

    いや、待て待て。

    そのTurn分析、存在しないFlush Drawを前提に作ったやつやろ。

    前提が変われば、

    FlopのBet判断も、

    TurnのEquityも、

    Bluff candidateとしての評価も、

    River planも変わる。

    だから、さらにルールを追加した。

    重大な前提ミスが見つかった場合、それまでのStrategy Analysisを破棄する。

    Hero handを読み間違えていたなら、Preflopから。

    Drawを間違えていたなら、Card Relationshipから。

    Riverの役を間違えていたなら、Best 5 Cardsから。

    部分修正ではなく、

    正しいInputから分析を作り直す。

    こうして少なくとも、

    「カードを読み間違えたまま、ものすごく詳しい戦略分析を始める」

    という、初期ChatGPTお得意の事故にはかなり強くなった。


    ところが、別の問題が残った

    カードは読める。

    Drawも確認する。

    Best 5も確認する。

    Pot Oddsも計算する。

    Independent Reviewも入れた。

    では、これでチャッピーは正しいポーカーコーチになったのか。

    もちろん、そんなに都合よくはいかなかった。

    次にぶつかったのは、

    「その戦略、本当に正しいの?」

    という問題。


    Analyst「Callです」


    たとえば、あるRiver SpotについてChatGPTに聞く。

    Analystは言う。

    「このハンドはCall寄りです」

    理由も説明する。

    Villainにはmissed drawが残っている。

    このBlockerは悪くない。

    Pot Oddsを考えると必要勝率はこれくらい。

    なるほど。

    それっぽい。

    ではIndependent Review。

    Reviewerは言う。

    「Fold寄りです」

    こちらも理由を説明する。

    Populationでは、このSizingのBluffが不足しやすい。

    HeroはVillainのBluff candidateをBlockしている。

    Value comboに対して必要なEquityが足りない。

    ……こっちも、それっぽい。

    どっちやねん。

    そして最後には、だいたい一言。

    「Solver未確認なので……」

    ……おい。


    「間違いを見つける」と「正解を知る」は違った


    ここで、かなり大きな違いに気づいた。

    たとえば、

    55にOESDがあるか?

    これは検証できる。

    次の1枚でStraightが完成するrankを実際に並べればいい。

    Pot Oddsはいくらか?

    これも計算すればいい。

    RiverでHeroのBest 5 Cardsは何か?

    これもカードを並べれば確認できる。

    つまり、

    客観的に正誤を確認できるもの

    については、Independent Reviewがかなり役に立つ。

    でも、

    「このSpotでGTOは何%Betするのか?」

    「このコンボはCallなのかFoldなのか?」

    「このAxsは3betなのかCallなのか?」

    となると事情が違う。

    ChatGPTはTheoryを説明できる。

    Range advantage。

    Nut advantage。

    Blocker。

    MDF。

    ValueとBluffの構成。

    かなり色々なことを話せる。

    でも、

    その説明が本当にSolverの戦略と一致しているかは、ChatGPT自身に聞いても確認できない。

    Reviewerを追加しても同じだった。

    AnalystもChatGPT。

    ReviewerもChatGPT。

    二人にしたところで、突然GTOの正解表が生えてくるわけではない。

    Independent Reviewで強くなったのは、

    「間違いを見つける力」

    だった。

    でも、

    「正解を知っていること」

    とは、まったく別の話だった。


    ここで、最初の問題に戻ってきた

    第1回で書いた通り、自分は以前GTO Wizardを使っていた。

    約2年間。

    Solverには、少なくとも答え合わせの基準がある。

    このSpotではBetなのかCheckなのか。

    どのSizingを使うのか。

    どのコンボを、どれくらいの頻度で混ぜるのか。

    設定した条件の中で、それを見ることができる。

    でも、そこには一つ大きな不満があった。

    「なぜ?」を聞けない。

    Solverは戦略を出してくれる。

    でも、

    「なんでこのハンドはBetなの?」

    「こっちのコンボとの違いは?」

    「このBlockerがそんなに重要なの?」

    と聞いても、会話はしてくれない。

    だからChatGPTに可能性を感じた。

    チャッピーなら、

    「なぜ?」を一緒に考えられる。

    これが、このポーカー研究室の始まりだった。

    ところが研究室を作って、ChatGPTの分析精度を上げていくと、

    今度は真逆の問題にぶつかった。

    ChatGPTには、

    「なぜ?」を聞ける。

    でも、

    「それ、本当に合ってる?」

    の答え合わせができない。


    だったら、両方使えばいい

    ここまで来て、ようやく考え方が変わった。

    別に、

    SolverかChatGPTか

    を選ぶ必要はなかった。

    Solverには、

    答え合わせをしてもらう。

    ChatGPTとは、

    その答えについて考える。

    Solverが、

    「このコンボは87.6%Call」

    と出したなら、

    ChatGPTと、

    「なぜこのコンボはそんなにCallするのか?」

    を考える。

    逆にChatGPTが、

    「このRiverはCall寄りだと思う」

    と言ったなら、

    Solverを開いて、

    本当にそうなのか確認する。

    答え合わせの基準を持っているSolver。

    理由を一緒に考えられるChatGPT。

    この二つを組み合わせれば、

    最初に欲しかった、

    「答えを教えてくれるもの」ではなく、「答えについて一緒に考える相手」

    に、かなり近づくんじゃないか。

    そう思った。

    そしてポーカー研究室は、

    また一段階、面倒くさい方向へ進むことになる。


    次の問題


    理屈は簡単だった。

    ChatGPTが分析する。

    Solverで答え合わせする。

    違っていたら、その理由をChatGPTと考える。

    これを繰り返せばいい。

    ただ、一つ問題がある。

    毎回Solverを開いて、同じSpotを手作業で入力するのが、死ぬほど面倒くさい。

    TenFourでは大量にハンドをこなす。

    気になるSpotは次々出てくる。

    そのたびに、

    スクリーンショットを見ながら、

    Positionを設定して、

    Stackを設定して、

    Preflop Actionを入力して、

    Flopを入力して、

    Sizingを合わせて……。

    これを毎回やる。

    正確性を求めた結果、

    今度は作業量との戦いが始まった。

    だったら、まずは、

    ChatGPTの分析をSolverで検証できる環境を作れないか?

    次に始めたのは、

    ポーカー研究室へのSolver導入だった。

    【第5回へ】

    あなたへのおすすめ