
G検定#10|失敗させて学ばせる?強化学習を支える「マルコフ決定過程」
皆さん、ご安全に!! 技術屋たかちゃんです。
テレビゲームで、何度も同じ場所で敵に倒される。悔しくて、次は違う動きを試す。何度か失敗するうちに敵の攻撃パターンが分かり、ようやくクリアできた。
人間なら、ごく自然な学習方法です。
では、AIはどうでしょう。正解を教えてもらわず、自分で行動し、失敗と成功を繰り返しながら学習できます。
その仕組みが「強化学習」です。
正解を教えず、結果から学習する
機械学習には、教師あり学習、教師なし学習、強化学習という代表的な学習方法があります。
教師あり学習では正解付きのデータを与えます。強化学習では、最初から正解を教えません。
相棒のAI(アイ)君が調べたところでは、強化学習は、行動した結果として得られる報酬を手掛かりに、長期的な報酬の合計が大きくなる行動を学習する仕組みだそうです。
基本となる要素は3つです。
状態(State):現在の状況。
行動(Action):その状況で何をするか。
報酬(Reward):行動の結果に対する評価。
学習する主体をエージェント、行動する相手や周囲の世界を環境と呼びます。
エージェントが状態を観察して行動する。環境が報酬と次の状態を返す。この繰り返しで学習が進みます。
マルコフ決定過程とは何か?
強化学習を理解するうえで欠かせないのが「マルコフ決定過程(MDP)」です。
少し難しい名前ですが、考え方はそれほど複雑ではありません。
現在の状態と行動を条件にすると、次の状態や報酬の確率分布を表現できる。この性質を「マルコフ性」と呼びます。
例えば、自動運転ロボットを考えてみましょう。
現在位置、速度、周囲の障害物を把握し、前進するか停止するかを選ぶ。行動によって次の位置や状況が変わります。
過去の履歴をそのまま全部使うのではなく、未来の予測に必要な情報を現在の状態にまとめる。これがマルコフ性の基本的な考え方です。
目先の報酬か、将来の報酬か
強化学習では、目の前の報酬だけを追いかけません。
将来にわたって得られる報酬の合計を「収益(リターン)」と呼びます。
ここで登場するのが「割引率(γ:ガンマ)」です。
将来の報酬をどの程度重視するかを決める係数で、通常0から1の範囲で設定します。
γが1に近い:遠い将来の報酬も重視する。
γが0に近い:目先の報酬を重視する。
例えば、目の前の100円を受け取るのか、将来の大きな報酬を狙うのか。AIは将来の報酬も計算に入れて行動を選びます。
探索と活用。AIも選択に迷う
強化学習には、探索と活用のトレードオフがあります。
活用(Exploitation)は、これまでの経験から最も良いと評価された行動を選ぶこと。
探索(Exploration)は、まだ試していない行動を試すことです。
いつも同じラーメン屋に通えば、味も値段も分かっています。でも、新しい店を試さなければ、もっと好みの味に出会えません。
AIも同じ問題を抱えています。
代表的な行動選択手法には、次の2つがあります。
ε-greedy(イプシロン・グリーディ):基本的には評価の高い行動を選び、一定確率でランダムな行動を試す。
UCB(上側信頼限界):試行回数が少なく、不確実性の高い選択肢も評価して探索する。
これらは、多腕バンディット問題で使われる代表的な手法です。
価値を評価するか、行動を直接学ぶか
強化学習には、大きく2つの考え方があります。
価値ベースは、それぞれの状態や行動が将来どれくらいの報酬につながるかを評価し、価値の高い行動を選びます。
方策ベースは、状態に応じてどの行動を選ぶかというルール(方策)そのものを学習します。
価値を計算して行動を決めるのか。それとも、行動の選び方を直接覚えるのか。G検定では、この違いを整理しておきたいところです。
AIに失敗させるには、人間の設計も必要になる
強化学習を調べていて、僕が気になったのは、AIの能力よりも学習環境の作り方です。
産業用ロボットに何千回も失敗させたらどうなるでしょう。設備を壊したり、人に接触したりすれば大問題です。
そこで活用されるのがシミュレーションです。仮想空間で何度も試行錯誤させ、学習した結果を実機に反映する方法があります。
ただ、報酬の設定を間違えると、AIは人間が意図しない行動を覚えてしまいます。
例えば、移動時間を短くすることだけを報酬に設定したロボットが、安全性を無視して最短経路を選んだらどうなるか。
AIは設定された評価に従って学習しただけです。
失敗を繰り返して賢くなるAI。その失敗をどこまで許すのか。工場のロボットを眺めながら考えると、なかなか奥の深い話です。
技術屋たかちゃんでした。ご安全に!!
#強化学習 #機械学習 #マルコフ決定過程 #AIとロボット
G検定 連載
前回:
次回:作成中
目次(マガジン):
G検定で覚えておきたい重要用語|強化学習編
1. 強化学習の基本用語
① 強化学習(Reinforcement Learning)
エージェントが環境の中で行動し、その結果として得られる報酬を手掛かりに学習する機械学習の手法。将来にわたる報酬の合計を最大化する行動を身につける。
② エージェント(Agent)
強化学習において、環境の状態を観察し、行動を選択する学習主体。ロボットやゲームAIなどが該当する。行動の結果を受け取りながら、より良い行動を学習していく。
③ 環境(Environment)
エージェントが行動する対象となる世界。エージェントから行動を受け取り、次の状態と報酬を返す。ゲームの盤面や工場のロボットが動く空間などが該当する。
④ 状態(State)
エージェントが置かれている現在の状況を表す情報。ロボットの位置や速度、周囲の障害物などが該当する。状態をもとに、次に取るべき行動を決定する。
⑤ 行動(Action)
エージェントが現在の状態に応じて選択する動作。前進、停止、旋回などがある。行動によって環境の状態が変化し、その結果として報酬が与えられる。
⑥ 報酬(Reward)
エージェントの行動結果に対して環境から与えられる評価値。望ましい行動には正の報酬、望ましくない行動には負の報酬を与えるなど、学習の方向性を決める役割を持つ。
2. マルコフ決定過程と報酬
⑦ マルコフ決定過程(MDP:Markov Decision Process)
強化学習を数学的に表現するためのモデル。状態、行動、状態遷移確率、報酬、割引率などで構成される。現在の状態と行動をもとに、次の状態と報酬を確率的に表現する。
⑧ マルコフ性(Markov Property)
未来の状態が、過去のすべての履歴ではなく、現在の状態と行動によって決まるという性質。過去の情報が必要な場合は、それを現在の状態に含めることで表現する。
⑨ 状態遷移確率(State Transition Probability)
ある状態で特定の行動を取ったとき、次の状態へ移る確率。強化学習では、行動によって環境がどのように変化するかを確率的に表現するために使われる。
⑩ 収益・リターン(Return)
ある時点から将来にわたって得られる報酬の合計。通常は将来の報酬に割引率を適用して計算する。強化学習では、目先の報酬だけでなく、長期的な収益の最大化を目指す。
⑪ 割引率(Discount Factor:γ)
将来の報酬を現在どの程度重視するかを決める係数。一般に0以上1以下の値を取る。1に近いほど将来の報酬を重視し、0に近いほど目先の報酬を重視する。
3. 探索と活用の重要用語
⑫ 探索(Exploration)
まだ十分に試していない行動を選択し、新しい可能性を調べること。未知の行動が高い報酬につながる可能性を探る。強化学習では、既知の行動だけに偏らないために必要となる。
⑬ 活用(Exploitation)
これまでの経験から報酬が高いと評価された行動を優先的に選択すること。既に分かっている知識を利用して報酬を獲得する。探索とのバランスが学習性能を左右する。
⑭ 探索と活用のトレードオフ(Exploration-Exploitation Trade-off)
未知の行動を試す探索と、既知の良い行動を選ぶ活用のバランスを取る問題。探索ばかりでは報酬を得にくく、活用ばかりではより良い行動を発見できない可能性がある。
⑮ ε-greedy法(イプシロン・グリーディ法)
一定確率εでランダムな行動を選択し、それ以外では最も価値が高いと評価された行動を選択する手法。探索と活用を簡単な確率設定で両立させる代表的な行動選択方法。
⑯ UCB(Upper Confidence Bound:上側信頼限界)
行動の平均報酬だけでなく、試行回数の少なさによる不確実性も考慮して選択する手法。十分に試されていない選択肢にも価値を見いだし、探索を促す。
⑰ 多腕バンディット問題(Multi-Armed Bandit Problem)
複数の選択肢から行動を選び、報酬を最大化する問題。スロットマシンの腕を選ぶ状況に例えられる。探索と活用のトレードオフを理解するための基本的な問題設定。
4. 強化学習の学習方式
⑱ 価値ベース(Value-Based)
状態や行動に対して、将来どれだけの報酬が期待できるかを表す価値を学習する方法。代表例はQ学習。推定した価値を比較し、より価値の高い行動を選択する。
⑲ 方策(Policy)
ある状態において、どの行動を選択するかを決めるルール。確率的に行動を選ぶ方策と、特定の行動を決定する決定論的な方策がある。強化学習では学習対象となる。
⑳ 方策ベース(Policy-Based)
状態に応じてどの行動を選ぶかという方策そのものを直接学習する方法。価値を比較して行動を決める価値ベースとは異なり、行動選択のルールを最適化する。
5. 関連して覚えておきたい発展用語
記事では詳しく説明していませんが、今回の内容と関連が深く、G検定対策として追加しておきたい用語です。
㉑ Q学習(Q-Learning)
状態と行動の組み合わせに対して、将来得られる報酬の期待値をQ値として学習する価値ベースの強化学習手法。行動を選ぶ方策とは別に、最大のQ値を使って学習を進められるオフポリシー手法である。
㉒ Q値(行動価値関数)
ある状態で特定の行動を取った場合に、将来得られる累積報酬の期待値を表す値。Q値が高い行動ほど、長期的に多くの報酬が期待できると評価される。
㉓ 方策勾配法(Policy Gradient Method)
方策をパラメータで表現し、期待される報酬が大きくなる方向へパラメータを更新する手法。連続的な行動を扱いやすく、方策ベースの強化学習で利用される。
㉔ シミュレーション(Simulation)
現実の環境をコンピューター上で再現し、仮想空間で学習や検証を行う方法。ロボットなどを実機で動かす前に、多数の試行錯誤を行えるため、安全性や開発効率の向上に役立つ。
㉕ 報酬設計(Reward Design)
エージェントにどのような行動を学習させたいかを考え、報酬の与え方を設計すること。不適切な報酬設定は、開発者の意図と異なる行動を学習する原因になる。