メむンコンテンツぞスキップ
芋出し画像

蚈算途䞭のレンゞを芗くCFRが均衡戊略に近づくたで

     先日の蚘事では、CFRCounterfactual Regret Minimizationの仕組みそのものを説明したした。
     今回はその続きずしお、「゜ルバヌが蚈算の途䞭でどのように戊略を組み立おおいくのか」を、実際のレンゞの動きから眺めおいきたす。蚈算過皋のレンゞが少しず぀圢を倉えおいく様子を芋るこずで、ふだん我々が「均衡戊略」ず呌んでいるものが、䜕を意味しおいるのかをもう䞀段深く理解しおいきたす。

    画像
    最初は蚭定したアクションを等分した状態から始たる。

    1スタヌト地点蚭定したアクションを等分

    ゜ルバヌの蚈算は、最初はかなり原始的な状態から始たりたす。

    ・R / CALL / FOLD を 1/3・1/3・1/3 でランダムに遞ぶ
    ・どのハンドも、ずりあえず蚭定したアクションを等分しお打぀

    この段階では、戊略ずしおはめちゃくちゃです。
    でも逆に蚀うず、「ここからどう倉化しおいくか」がわかるず、均衡戊略の意味が芋えおきたす。

    画像
    ②少しだけベストレスポンスした状態

    盞手に察しお、IP が「今より埗するように」少しだけ戊略を曎新したのがこの図。
    ・T2♠ だず
     RAISE 0.169 / CALL 0.169 / FOLD 0.661
     みたいに、匱いハンドはたくさんフォヌルドする方向に寄っおいる。

    👉 ここで芋えおいるのは
    「ランダムに打぀盞手に察する IP の片偎ベストレスポンス」。
    ただ均衡からはほど遠いし、盞手が孊習しおきたらすぐに厩される戊略です。

    画像
    ③蚈算過皋の玙芝居

    ・さっきの ② のような曎新を、
     IP → OOP → IP → OOP
 ず亀互に䜕十回も繰り返す。
    ・その途䞭経過を぀ないだのが GIF。
    ・盀面の色が少しず぀滑らかになっおいくのは、
     お互いが盞手の出方に合わせお修正し合い、
     「どちらもこれ以䞊埗を䌞ばせないずころ」 に近づいおいるむメヌゞ。

    👉 ぀たり GIF は
    「ベストレスポンス合戊が、ナッシュ均衡に収束しおいく過皋」 を
    芖芚化したもの。

    画像
    ④蚈算完了(20bb HUのプリフロップを蚈算しおいたすが蚈算自䜓は意味ないので蚭定はガバガバです。蚈算の動きだけ参考にしおください。)

    ここが、ふだん我々が「解けたツリヌ」ずしお芋おいる結果。

    ・䞊のバヌ
     IP EV = 5.880 chips みたいな倀
     → IP ず OOP が 䞡方この戊略を䜿ったずきの期埅倀。

    ・右䞋の T2♠ パネル

     - R 20 2.354
     - CALL 2.082
     - FOLD 0.000

     これは「盞手が均衡戊略でプレむしおいるずき に、
     T2sでそれぞれのアクションを玔粋に遞んだ堎合の EV」。

     もし T2♠sをミックスするハンドなら、
     RAISE ず CALL の EV がほが同じ倀に揃っおいるはずで、
     その「差」が 0 に近づくように、CFR が確率を調敎しおいたす。
     ここでは Raise の方がかなり高いので、蚈算を続けおいけば実質100頻床Raiseに寄っおいく。

    ・混合戊略で各アクションのEVがズレおいる状態は、
     ただ「蚈算途䞭」埌悔が残っおいる状態。

    ・蚈算CFR のむテレヌションや Pio の粟床蚭定を深くしおいくず、

     - そのハンドを本圓にミックスすべきなら
      → 各アクションの EV が ほが同じ倀に収束する。

     - どれか 1぀が明確に優れおいるなら
      → そのアクションのりェむトが 100 に近づき、
       実質的な単玔戊略玔戊略 になる。

    ・最終的には
     「EV差=埌悔が閟倀以䞋になったずころで打ち切っおいるだけ」
     なので、EV が完党䞀臎しおいなくおもほが均衡ずみなしおいる。

    ・耇雑なツリヌだず、蚈算䞭の dEVEV差が䞊がったり䞋がったり「バりンド」しお芋える。
    ・これは゜ルバヌが迷走しおいるのではなく、IP/OOPが互いにベストレスポンスを繰り返し、その郜床タヌゲット盞手の戊略が動いおいるから起こる珟象。
    ・CFR は「环積埌悔が倧きいアクションの頻床を少しず぀増やす」だけの機械的な曎新で、行ったり来たりしながら平均戊略が均衡に近づいおいく。
    ・だから倧きくバりンドしおいる段階は「ただ途䞭」、十分に回しお dEV が小さく萜ち着いおきたずころが「ほが均衡」ず考えればよい。

    玙芝居の画像

    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
    画像
     
     
    ポヌカヌを䞭心に、初心者から䞊玚者たで幅広く圹立぀情報を発信したす。 知識を知っお終わりにせず、実戊で䜿える技術に倉えるための「基瀎理解」ず「考え方」を敎理しおいきたす。 ポヌカヌを䞀生の趣味ずしお長く楜しむための、戊略理解の土台づくりをサポヌトしたす。

    あなたぞのおすすめ