期待値から機械学習へ

　期待値は「損か得か、有利か不利か」を判断する指標です。変量 $x$ が値 $x_1$ をとる確率が $p_1$，$x_2$ をとる確率が $p_2$ ，…，$x_n$ をとる確率が $p_n$ のとき、$x$ の期待値 $E(x)$ は次の式で求められます。

　ではさっそく、期待値を計算してみましょう。

グーパーじゃんけんで勝負する

　Ａ君もＢ君も特に戦略的に立ち振る舞うことがなければ、⑴のようになるでしょう。その場合のＡ君の得点の期待値は（式１）の通りで、その値は -1/4 となります。すなわち「Ａ君が不利で、Ｂ君が有利」となります。
　でも、Ａ君は何もグーとパーを同じ割合で出さければいけないわけではありません。自分に有利になるように、グー・パーを出す割合を変えても良いわけです。その状況が⑵です。
　その場合、Ｂ君がグーを出す確率を p としてＡ君の得点の期待値を計算すると（式２）となります。その値は見ての通り、p の値に関わらず、プラス（+3/13）になります。つまり「Ａ君がグーとパーを4：9の割合で出せば、Ｂ君がグー・パーをどのように出そうが、Ａ君が有利になる」のです。

　ところで、Ａ君がグーとパーを出すときの理想的な割合は、どうすれば見つけられるか？　そう、そこが大事なところ。それが「最適化」です。その理想的な割合の求め方はここでは省略しますが、大事なのは「与えられる確率に従うばかりでなく、期待値を上げるために元の確率を変えることを考える」姿勢です。
　さて、人が物を見るとき、自然と強弱をつけています。見るべき物に焦点を当て、それ以外の物はぼんやりと見ています。他をまるで見ていないわけではありません。だからいきなりボールが飛んできたら、除けられるわけです。
　視覚でも聴覚でも同じですが、すべての情報を同じ強度で受け取っていたら、そこに意味を見い出すことはできません。情報に強弱をつけることで、意味が生まれるのです。
　人は生まれてからたくさんの経験をして、そのビッグデータを元に情報に適正な重み付けをすることを通して、物を認識することを学習してきました。
　そしてそれを人工的に成しているのが、人工知能です。そしてその計算法は、期待値計算と同じです。

サイコロを振るか振らないか、どっちが有利か

　期待値の問題をもう１問いきましょう。次は京都大学1977年文系の入試問題からです。
　だいぶ古い問題ですが、「自分に有利になるように振る舞い方を決める」ような問題が、ありそうでなかなか無いんですね。私はそもそもそのために期待値があると思っているのですが、私の知る限り、大学入試問題の中でそれに該当する唯一のものです。

《解説・解答》
(1)　サイコロを１回ふったときの得点の期待値は
　　　　1×1/6 + 2×1/6 + 3×1/6 + 4×1/6 + 5×1/6 + 6×1/6 = 7/2 = 3.5 … (A)
（１回目でも２回目でも３回目でも同じです）
よって「１回目にふって出た目の数が 1 , 2 , 3 のいずれかのときは２回目をふり、１回目にふって出た目の数が 4 , 5 , 6 のいずれかのときは２回目をふらない」 … (B)、これが最も有利な戦略です。
この戦略に出た場合の得点の期待値は
　　　　4×1/6 + 5×1/6 + 6×1/6 + 7/2×3/6 = 17/4 = 4.25 … (C)
無条件に２回目をふる、もしくは無条件に２回目をふらない場合の得点の期待値は(A) と同じで 3.5 … (D)、確かに(C) の方が (D) より有利です。

(2)　サイコロをふるチャンスが残り１回となった時点では上記 (B) の戦法を採るべきです。
　さて、１回目をふった後に２回目をふるか否かの判断をどうすればいいでしょうか？
　２回目をふった時点で戦法 (B) を採れば期待値は (C) になるから、１回目に出た目と (C) をくらべればよい。
　よって「１回目にふって出た目の数が 1 , 2 , 3 , 4 なら２回目をふり、5 , 6 なら２回目をふらない。２回目にふって出た目の数が 1 , 2 , 3 なら３回目をふり、4 , 5 , 6 なら３回目をふらない」… (E)、これが最も有利な戦略です。
　この戦略に出た場合の得点の期待値は
　　　　5×1/6+ 6×1/6+ 17/4×4/6 = 14/3 = 4.67 … (F)
　(C) よりさらに期待値が上がりました。

　ついでながら、ここでもう１問追加してみます。

続・サイコロを振るか振らないか、どっちが有利か

　(2) から「最後から３回目のサイコロをふった時点では上記 (D) の戦法を採るのが最も有利だ」といえます。
　さて、最後から４回目をふった後に次をふるか否かの判断をどうすればいいでしょうか？
　それには、最後から４回目に出た目と (E) をくらべればいいですね。
　その結果、最後から４回目に出た目が 1 , 2 , 3 , 4 なら次をふり、5 , 6 なら次をふらない となります。

　さて、この計算をいつまで続ければいいでしょうか？
　ところで、(B) , (E) にあたる値はこの後増え続けて、減ることはありません。また、6 を超えることもあり得ない。
　その値が 5 より大きければ「サイコロの目が 6 ならそこでやめ、それ以外なら続けるのがよい」となる。
　その値が 5 より小さければ「サイコロの目が 5 , 6 ならそこでやめ、1 , 2 , 3 , 4 なら続けるのがよい」となる。
　ですから、(B) , (E) にあたる計算をし続けて、5 を超える瞬間を見つければいいのです。
　そこで、計算を繰り返します。

　この値は「最大で４回ふることが許される場合の期待値」であり、このことから「最後から５回目に 5 , 6 が出たらそこで止め、1 , 2 , 3 , 4 なら続けるのがよい」ことがわかります。
　ゴールは近い、もう１回。

　この値は「最大で５回ふることが許される場合の期待値」であり、このことから「最後から６回目に出た目が 6 ならそこで止め、 他の目なら続けるのがよい」ことがわかります。
　この先はずっと同じです。例の期待値はこの後も増え続けますが、6 には到達しないのですから、「6 が出たら止めて、6 が出なかったら続ける」のが最も有利である。
　以上をまとめると、

の答えは

です。計算ミスしてなければ 。。。

◇　　　　　　◇　　　　　　◇

〜 使える確率の学び方 〜
▷ 条件付き確率からベイズ推定へ
▷ 期待値から機械学習へ　　　　
▷ Excel に人工知能を実装せよ