
【第112回】AIはQ値をニューラルネットで学べる?DQNとは
前回の「ϵ-greedy方策」で、AIが「たまに冒険して正解を探す」仕組みを学びましたね。でも、ここで大きな問題が発生します。もし、ゲームの画面のように「状況(状態)」が数億通りもある場合、すべての正解をメモした巨大な表(Qテーブル)を作るのは無理ですよね?そこで登場したのが、今回の主役「DQN」です!
1. 読み方
DQN = ディーキューエヌ(Deep Q-Network)
2. 意味(定義)
DQNを一言で言うと、「巨大すぎるメモ帳(Qテーブル)を捨てて、AIの『勘』と『予測力』で正解を導き出す仕組み」のことです。
身近な例で例えてみましょう。
【これまでのQ学習(Qテーブル方式)】 分厚い「攻略本」を持っている状態です。 「敵が右にいて、自分のHPが10のときは、Aボタンを押せ」と、あらゆるパターンがすべて書き込まれています。 でも、ゲームが複雑になると、攻略本が月に届く幅になってしまい、持ち運べません(メモリ不足)。
【DQN方式】 攻略本を捨てて、「熟練のプロゲーマー」を雇った状態です。 プロゲーマーはすべてのパターンを暗記しているわけではありません。しかし、画面を見た瞬間に「なんとなく、今はここでジャンプするのが正解っぽいな」と予測できます。 この「なんとなく正解っぽい値を予測する力」を、ディープラーニング(ニューラルネットワーク)で実現したのがDQNなのです。
3. 歴史・背景
かつての強化学習は、迷路のような単純な世界では強かったのですが、複雑な世界(ビデオゲームなど)では全く歯が立ちませんでした。なぜなら、状態数が多すぎて、前述した「攻略本(テーブル)」が作りきれなかったからです。
そこで2013年、Google傘下のDeepMind社が画期的なアイデアを思いつきました。 「Q値を表に書き込むのではなく、ニューラルネットワークに予測させればいいじゃないか!」
彼らが開発したDQNは、人間が教えることなく、ただ画面を見ただけで、昔のビデオゲーム(Atari)を人間以上のレベルで攻略して世界を驚かせました。これがきっかけで、「強化学習 × ディープラーニング」という最強の組み合わせが確立され、後のAlphaGo(囲碁AI)などの誕生につながったのです。
4. 比較・対比(似た用語との違い)
「従来のQ学習」と「DQN」の違いを整理しましょう。
【従来のQ学習】
正解の管理方法: 表(テーブル)にすべて書き込む。
得意なこと: 状態が少ない、シンプルな問題。
弱点: 状態が増えると、メモリが足りなくなり、計算が終わらなくなる。
【DQN(Deep Q-Network)】
正解の管理方法: ニューラルネットワークで「予測」する。
得意なこと: 画像認識など、状態がめちゃくちゃ多い複雑な問題。
弱点: 学習が不安定になりやすく、工夫(後述のテクニック)が必要。
5. 活用シーン(実社会のどこで、どんな問題に使うか)
DQNの考え方は、今のAI開発のベースになっています。
複雑なゲームの攻略AI
画面のピクセル情報をそのまま入力し、どのボタンを押せばスコアが上がるかを学習します。
ロボットの制御(試行錯誤による動作習得)
センサーで得た膨大なデータから、「どう腕を動かせば物を掴めるか」という最適な行動を予測して学習させます。
6. G検定での出題傾向
G検定では、単に「DQN=ニューラルネットを使ったQ学習」ということだけでなく、「学習を安定させるための2つの工夫」が非常によく出題されます。ここが得点圏です!
① 体験リプレイ(Experience Replay):
過去の経験をメモリに保存しておき、ランダムに使い回して学習すること。これにより、「直前の経験だけに引きずられる」のを防ぎます。
② ターゲットネットワーク(Target Network):
「正解を計算するためのネットワーク」を一時的に固定すること。これにより、正解がコロコロ変わって学習が混乱するのを防ぎます。
この2つの用語が出てきたら、「あ、DQNを安定させるための工夫だな!」と結びつけてください。
7. G検定の例題
【問題1:基礎】 DQN(Deep Q-Network)の最大の特徴として、正しいものはどれか?
A. Qテーブルをより効率的に圧縮して保存すること。
B. Q値の計算にニューラルネットワークを利用すること。
C. 報酬を一切使わずに学習を行うこと。
D. 正解データ(教師データ)をあらかじめすべて与えること。
【問題2:応用】 DQNにおいて、過去の経験をメモリに蓄え、そこからランダムにサンプリングして学習に利用することで、データの相関を断ち切り学習を安定させる手法を何と呼ぶか?
A. ターゲットネットワーク
B. ϵ-greedy方策
C. 体験リプレイ(Experience Replay)
D. モンテカルロ法
【問題3:ひっかけ】 DQNに関する記述として、不適切なものはどれか?
A. 状態数が膨大な環境においても、Q値を近似的に求めることができる。
B. ターゲットネットワークを用いることで、学習目標が頻繁に変動する問題を軽減できる。
C. 従来のQ学習と同様に、すべての状態と行動の組み合わせをテーブル形式で保持する。
D. DeepMind社によって提案され、Atariのゲーム攻略などでその有効性が示された。
8. 7の例題の回答と解説
【問題1:回答】B
【解説】 DQNの「D(Deep)」はディープラーニングのことです。Qテーブル(表)を使う代わりに、ニューラルネットワークを使ってQ値を予測するのが最大の特徴です。
【問題2:回答】C
【解説】体験リプレイ(Experience Replay)の説明です。AIが「今の経験」だけに集中しすぎると、偏った学習をしてしまいます。そこで、過去の思い出(経験)をランダムに取り出して復習することで、バランスよく学習させます。
【問題3:回答】C
【解説】【ひっかけ問題でした!】 「テーブル形式で保持する」のは、従来の(シンプルな)Q学習です。DQNは、そのテーブルが大きくなりすぎる問題を解決するために、テーブルを捨ててニューラルネットワークに置き換えた手法です。
9. Ankiアプリ用(CSV形式)
DQN(Deep Q-Network)とは?,Q値の計算にニューラルネットワークを用いた強化学習の手法
DQNが解決した問題は?,状態数が多すぎてQテーブルが作れない(次元の呪い)問題
体験リプレイ(Experience Replay)とは?,過去の経験をメモリに保存しランダムに再利用して学習を安定させる手法
ターゲットネットワークとは?,正解を計算するネットワークを一時的に固定し学習を安定させる手法
DQNを世に広めた組織は?,DeepMind社(Atariのゲーム攻略などで有名)
📝 総評・まとめ
今回は、強化学習にディープラーニングを掛け合わせた「DQN」について学びました。 「全部メモするのは無理だから、AIに予測させよう!」という発想の転換が、AIの可能性を爆発的に広げたんですね。
✅ 絶対に覚えて!
DQN = Q学習 × ニューラルネットワーク。
体験リプレイ = 過去の経験をランダムに復習して安定させる。
ターゲットネットワーク = 正解の基準を一時的に固定して安定させる。
🚀 次回予告
DQNでAIは格段に強くなりましたが、まだ課題がありました。 それは、「行動を決めること」と「その行動がどれくらい良かったか評価すること」を、一つのネットワークで同時にやっているため、まだ少し効率が悪いということ。
そこで人間のように「実際に動く役(Actor)」と「それを厳しくチェックする役(Critic)」の2人をチームにする、さらに高度な手法が登場します。
次回は、最強のタッグ組ませ術【第113回】AIは行動役と評価役を分けられる?Actor-Criticとはを解説します!
✅ この記事が役に立ったら「スキ」で応援してください!
あなたの応援が、次の解説を作るエネルギーになります!🚀