メインコンテンツへスキップ
見出し画像

【第4章:LLMの正体編】第37話:「正解がないのに、どうやって教えるの!?」Human Preference・Reward Model・RLHFで知るAIの“好みの学び方”

    はじめて読む方へ

    こんにちは。CognitiveAIヒロシです。

    このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、

    「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。

    前回、第36話。

    ヒロシは、Pretrainingが終わればChat型AIが完成するわけではないことを知った。

    Pretraining

    ↓

    Base Model

    ↓

    Post-training

    そしてPost-trainingの一つとして、

    SFT(Supervised Fine-Tuning)

    が登場した。

    例えば、

    Instruction:
    「次の文章を3行で要約してください」

    Desired Response:
    「①……
    ②……
    ③……」

    人間が「こう答えてほしい」というお手本を用意し、それを使ってモデルをFine-tuningする。

    「なるほど」

    ヒロシは思った。

    正解を教えればいいんだ。

    しかし、第36話の最後。

    ヒロシは気づいてしまった。

    AIへの質問には、

    算数のように、

    いつも一つの正解があるわけではない。

    同じ質問に対して、

    Response A。

    Response B。

    どちらも間違いではない。

    でも、

    「こっちの方がいい」

    はある。

    翌朝。

    ヒロシはヨシコに聞いた。

    「なあ」

    「何?」

    「AIに、“こっちの回答の方がいい”ってどうやって教えるの?」

    「いいところまで来たね」

    「あと、もう一つ」

    「何?」

    ヒロシは少し考えてから言った。

    「そもそも、“いい回答”って誰が決めるの?」

    ヨシコが笑った。

    「今日はそこまで行こう」


    1.「正しい回答」と「良い回答」は違う

    ヨシコがホワイトボードに質問を書いた。

    Q:部下に厳しいフィードバックを伝えるメールを書いてください。

    そして二つのResponseを書いた。

    Response A

    「あなたの仕事には多くの問題があります。改善してください。」

    Response B

    「今回の成果について、いくつか改善したい点があります。期待する水準と今後の進め方について、一度一緒に確認しましょう。」

    ヒロシが言った。

    「Bだな」

    「なぜ?」

    「Aも言ってること自体は分かるけど……Bの方が仕事では使いやすい」

    「そう」

    では、

    Aは完全な「不正解」なのか?

    そうとも言い切れない。

    内容によっては、

    どちらも文法的には成立している。

    どちらも質問には関係している。

    しかし、

    Helpfulか。

    適切か。

    分かりやすいか。

    ユーザーの意図に合っているか。

    となると、

    差が出てくる。

    「なるほど」

    ヒロシが言った。

    「正解・不正解じゃなくて、どっちがより望ましいかなのか」

    「そう」


    2.そこでHuman Preferenceが登場する

    ヨシコが書いた。

    Human Preference

    「人間の……好み?」

    「Preferenceは“選好”と訳されることもある」

    やり方の一例はシンプルだ。

    あるPromptをモデルに与える。

    モデルから複数のResponseを生成する。

    例えば、

    Prompt

    「量子コンピュータを中学生にも分かるように説明してください」

    モデルが、

    Response A

    と、

    Response B

    を生成する。

    それを人間のLabelerに見てもらう。

    そして聞く。

    「どちらのResponseの方が望ましいですか?」

    ヒロシが言った。

    「100点満点で採点するんじゃない?」

    「方法はいろいろあるけど、代表的なのが比較」

    Aの方が良い。

    Bの方が良い。

    こうした比較を大量に集める。

    すると、

    Preference Data

    ができる。


    3.なぜ「点数」ではなく「比較」なの?

    ヒロシが聞いた。

    「でもさ、Aは82点、Bは71点って付ければいいじゃん」

    「ヒロシなら毎回答えられる?」

    「……難しいな」

    「82点と83点の違いは?」

    「もっと難しい」

    人間にとって、

    絶対的な点数を付けることは難しい場合がある。

    しかし、

    AとBならどちらが良いか

    なら判断しやすいことがある。

    例えば、

    「このラーメンは100点満点で何点?」

    より、

    「A店とB店ならどっちが好き?」

    の方が答えやすい人もいる。

    「急に分かった」

    「食べ物になると理解が速いね」


    4.でもPreference Dataだけでは、まだモデルを直せない

    ヒロシは言った。

    「じゃあAとBを人間に選んでもらって、それでParameter Update!」

    「ちょっと待って」

    「違う?」

    古典的なRLHFの代表例では、

    Human Preferenceをそのまま最終モデルへ直接渡して終わりではない。

    まず、

    人間のPreferenceを予測する別のモデル

    を作る。

    それが、

    Reward Model

    だ。

    ヒロシが止まった。

    「モデルを直すために……」

    「うん」

    「別のモデルを作るの?」

    「そう」

    「AIを作るためのAI?」

    「その表現は少し雑だけど、気持ちは分かる」


    5.Reward Modelは何をする?

    例えば、

    Prompt:

    「量子コンピュータを中学生にも分かるように説明してください」

    Response A。

    Response B。

    人間のLabelerは、

    Bの方が望ましい

    と判断したとする。

    こうした比較データを大量に集める。

    そしてReward Modelに、

    「人間なら、どちらのResponseをより好みそうか」

    を学習させる。

    ヒロシが聞いた。

    「Reward Modelが、回答の正解を知ってるの?」

    「違う」

    ここは重要だ。

    Reward Modelは、

    世界の絶対的な“良さ”を知っているわけではない。

    Training Dataとして与えられたHuman Preferenceから、

    どんなResponseが、Labelerにより好まれる傾向があるか

    を学習する。

    つまり、

    Human Preferenceの近似モデル

    と考えると分かりやすい。


    6.Rewardって何?

    「Rewardって“報酬”だろ?」

    「そう」

    Reward Modelは、

    PromptとResponseを受け取り、

    そのResponseがどれくらい望ましいかを表す、

    Reward Score

    を出すようにTrainingされる。

    イメージとして、

    Response A:

    Reward = 1.2

    Response B:

    Reward = 3.8

    なら、

    Reward ModelはBをより高く評価している。

    ヒロシが言った。

    「AIに点数を付けるAIを作った!」

    「まあ、初心者向けにはそんなイメージでもいい」

    「さっき人間に点数を付けさせるのは難しいって言ったのに?」

    「だから、人間からは比較を集めて、その比較からReward Modelを学習させる」

    「ああ!」

    ここでつながった。

    Human

    ↓

    AとBを比較

    ↓

    Preference Data

    ↓

    Reward ModelをTraining

    ↓

    Responseに対するRewardを推定


    7.でもReward Modelを作っただけでは、元のLLMは変わってない

    ヒロシはホワイトボードを眺めた。

    「完成?」

    「まだ」

    「今日は“まだ”が多いな」

    Reward Modelができても、

    元のLLMはまだ変わっていない。

    Reward Modelは、

    Responseを評価する側

    だからだ。

    では、

    Reward Modelが高く評価するResponseを、

    元のLLMがより生成するようにするにはどうするのか。

    そこで登場するのが、

    Reinforcement Learning

    強化学習だ。

    そしてHuman Feedbackを使ったこの代表的な枠組みが、

    RLHF

    である。

    正式名称は、

    Reinforcement Learning from Human Feedback

    ヒロシが言った。

    「Human Feedbackから学ぶReinforcement Learning」

    「そう」


    8.RLHFの全体像を一回並べよう

    ヨシコがホワイトボードを全部消した。

    そして書いた。

    Step 1:SFT

    人間が望ましいResponseのお手本を作る。

    ↓

    そのDemonstrationでモデルをFine-tuningする。


    Step 2:Preference Data

    同じPromptに対する複数のModel Outputを作る。

    ↓

    人間が、

    「Aの方がBより良い」

    などと比較する。


    Step 3:Reward Model

    Preference Dataを使って、

    人間がどのResponseを好みそうか

    を予測するReward ModelをTrainingする。


    Step 4:Reinforcement Learning

    LLMにResponseを生成させる。

    ↓

    Reward Modelが評価する。

    ↓

    より高いRewardを得るResponseを生成しやすくなるよう、

    LLMを更新する。


    ヒロシはしばらく眺めた。

    「これがRLHF?」

    「古典的な代表例としてはね」

    InstructGPTでは、実際に、

    SFT → Human Comparison → Reward Model → PPOによるReinforcement Learning

    という流れが使われた。OpenAI


    9.PPOって、また新しい略語?

    ヒロシが見逃さなかった。

    「今、PPOって言ったよな」

    「言った」

    「何?」

    PPO

    正式には、

    Proximal Policy Optimization

    Reinforcement LearningのAlgorithmの一つだ。

    InstructGPTでは、

    Reward Modelから得られるRewardを利用しながら、

    LLMのPolicyを更新するためにPPOが使われた。OpenAI CDN

    「Policy?」

    「ここでは、Promptを受け取ったときに、どんなToken列を生成するかを決めるモデル側の振る舞い、と考えて」

    「つまりLLMそのもの?」

    「大ざっぱにはそう考えていい」

    ただし。

    今回はPPOの数式には入らない。

    ヒロシは胸をなで下ろした。

    「助かった」


    10.Rewardを最大にすれば最強なのでは?

    ヒロシがまた言った。

    「分かった。じゃあReward Modelの点数を最大にすればいい」

    「その考え方も危ない」

    「なんで?」

    Reward Modelは、

    人間のPreferenceそのものではない。

    あくまで、

    限られたPreference Dataから学習した、

    Preferenceの近似

    だ。

    つまり完璧ではない。

    もしLLMが、

    人間にとって本当に良いResponseではなく、

    Reward Modelから高いScoreを得る方法

    を見つけてしまったら?

    ヒロシが言った。

    「試験の内容を理解するんじゃなくて、採点ルールの穴を突く?」

    「そういうイメージ」

    これは広い意味で、

    Reward Hacking

    などにつながる問題だ。

    だから、

    Rewardを上げれば上げるほど無条件に良い

    とは限らない。


    11.元のモデルから離れすぎても困る

    もう一つ問題がある。

    Rewardだけを追いかけて、

    モデルの振る舞いが極端に変わってしまったらどうするか。

    そこで古典的なRLHFでは、

    Reference Model

    との違いが大きくなりすぎないようにする考え方も使われる。

    ここで登場するのが、

    KL Divergence

    だ。

    「待て待て待て」

    「今日は名前だけでいい」

    ヒロシは安心した。

    直感的には、

    Rewardを高くしたい。

    でも、

    元のModelから無制限に離れてほしくない。

    このバランスを取る。

    「自由に改善していいけど、別人になるな?」

    「かなり雑だけど今日はそれでいい」


    12.では「Human Preference」は誰のPreferenceなのか?

    そしてヒロシは、

    前回から気になっていた質問へ戻った。

    「ヨシコ」

    「何?」

    「Human Preferenceって言うけど……」

    ヒロシはホワイトボードに書いた。

    WHOSE Preference?

    「誰の好みなの?」

    これは非常に重要な問題だ。

    人間全体に、

    一つの統一されたPreferenceが存在するわけではない。

    短い回答が好きな人。

    詳しい回答が好きな人。

    直接的な表現を好む人。

    柔らかい表現を好む人。

    文化。

    価値観。

    専門性。

    利用目的。

    状況。

    さまざまな違いがある。

    実際、InstructGPTの論文自身も、この手法がモデルを抽象的な「人類全体の価値観」にAlignさせるのではなく、主として特定のLabelerや研究者が示したPreferenceに沿わせるものだという限界を明示している。OpenAI CDN

    ヒロシが言った。

    「“Human Preference”って言うと、人類代表みたいに聞こえるな」

    「そこは注意した方がいい」


    13.Alignmentは「AIに正解を教える」だけではない

    ここでヨシコが、

    Alignment

    と書いた。

    ヒロシが聞いた。

    「Alignmentって結局何?」

    「一言で全部定義すると危ないけど、今日はこう考えよう」

    モデルの振る舞いを、

    人間の意図や、定めた目的・方針に、より適合させていくこと。

    Instructionに従う。

    HelpfulなResponseを返す。

    望ましくない振る舞いを抑える。

    Preferenceを反映する。

    こうした問題が関わってくる。

    「AIに善悪を完全に教える?」

    「そこまで単純じゃない」

    Alignmentは、

    “正しい人間の価値観”をAIに一発でインストールする技術

    ではない。

    何を望ましいとするのか。

    誰が評価するのか。

    どんなDataを使うのか。

    どんな目的関数を使うのか。

    どう評価するのか。

    そこには、

    技術だけでは済まない設計判断もある。


    14.Parameter数が小さくても、好まれることがある

    ヨシコが言った。

    「第35話を覚えてる?」

    「Scaling Laws」

    「そう」

    Parameterを増やす。

    Dataを増やす。

    Computeを増やす。

    モデルの能力を高めるうえでScalingは重要だった。

    しかし、

    人間から好まれるResponseを生成すること

    は、

    Parameter数だけでは決まらない。

    InstructGPTの研究では、人間による評価で、1.3B ParameterのInstructGPTのOutputが175B ParameterのGPT-3のOutputより好まれたと報告されている。arXiv

    ヒロシが止まった。

    「ちょっと待って」

    「何?」

    「1.3Bと175B?」

    「そう」

    「100倍以上違うじゃん」

    「だから、第35話の話につながる」

    ヒロシはノートに書いた。

    大きいModel ≠ 必ず人間に好まれるModel

    「Post-training、めちゃくちゃ重要じゃん」

    「そういうこと」


    15.じゃあ今のAIも全部このRLHFなの?

    ヒロシが聞いた。

    「なるほど。じゃあ今のChat型AIは全部、

    SFT。

    Reward Model。

    PPO。

    この順番なんだな」

    「それは言いすぎ」

    「違うの?」

    InstructGPTは、

    RLHFを理解するための非常に重要な代表例だ。

    しかし、

    Post-trainingの方法はそれだけではない。

    Human Preferenceを使いながら、

    Reward Modelを別にTrainingして、PPOを回す

    という複雑な工程を簡略化しようとする研究も進んだ。

    その代表例の一つが、

    DPO

    正式には、

    Direct Preference Optimization

    だ。arXiv

    ヒロシが言った。

    「また略語が増えた」

    「今日は名前だけ」


    16.DPOは何を“Direct”にしたの?

    古典的なRLHFの代表的な流れは、

    Preference Data

    ↓

    Reward Model

    ↓

    Reinforcement Learning

    だった。

    DPOでは、

    Preference Dataから、

    別のReward Modelを明示的にTrainingして、そのReward Modelを使ってPPOを回す

    という経路を取らず、

    Preferred ResponseとRejected Responseの比較から、

    Language ModelのPolicyを直接最適化する

    ことを目指す。arXiv

    ヒロシが書いた。

    RLHFの代表例

    Preference
    ↓
    Reward Model
    ↓
    RL
    ↓
    LLM

    その横に、

    DPO

    Preference
    ↓
    LLM

    「めちゃくちゃ簡単になってない?」

    「図にするとね。理論まで簡単とは言ってない」

    「ですよね」

    重要なのは、

    Preference Learningにも複数の方法がある

    ということだ。

    だから、

    Post-training = RLHF = PPO

    と全部同じものだと思ってはいけない。


    17.AIは「人間の好み」を理解したのか?

    ヒロシが最後に聞いた。

    「じゃあPreference LearningしたAIは、人間の好みを理解したってこと?」

    ヨシコは首を振った。

    「そこも慎重に」

    モデルは、

    Preference Data。

    Reward。

    Training Objective。

    などを通じて、

    あるResponseを別のResponseより生成しやすくなるようにParameterを調整される。

    だから、

    人間と同じ意味で、

    「これは良いことだ」

    「私はこの回答が好きだ」

    と感じていると考える必要はない。

    「AIが喜んでRewardを集めてるわけじゃない?」

    「喜んでない」

    「Rewardって名前なのに?」

    「数学だから」

    ヒロシはため息をついた。

    「AI用語、毎回人間っぽい名前を付けるのやめてほしい」

    「それはちょっと分かる」


    18.ここまででLLMのTrainingが一本につながった

    ヒロシは、

    第32話からの流れを全部書いた。

    Pretraining Data

    ↓

    Next Token Prediction

    ↓

    Loss

    ↓

    Backpropagation

    ↓

    Parameter Update

    ↓

    Training Loop

    ↓

    Scaling

    ↓

    Base Model

    ↓

    SFT

    ↓

    Preference Data

    ↓

    Reward Model / Preference Optimization

    ↓

    より望ましい振る舞いへ調整

    ヒロシはしばらく黙っていた。

    「ヨシコ」

    「何?」

    「俺、AIって“大量の文章を読ませた巨大なTransformer”だと思ってた」

    「かなり進歩したね」

    「今は違う」

    Pretrainingで能力の土台を作る。

    Scalingする。

    Post-trainingする。

    人間のDemonstrationを使う。

    Preferenceを使う。

    そして、

    モデルの振る舞いを調整する。

    LLMは、

    ただ大きくTrainingすれば完成するものではなかった。


    19.でも、まだ一つ気になる

    ヒロシが言った。

    「Preference Dataを作るのって、大変じゃない?」

    「大変だね」

    「人間が大量にResponseを比較するんだろ?」

    「そういう方法ならね」

    「時間もかかる」

    「かかる」

    「お金もかかる」

    「かかる」

    「だったらさ……」

    ヒロシは少し考えた。

    「Base Model全部を毎回Trainingし直すのも大変じゃない?」

    ヨシコが笑った。

    「いい質問」

    「また何かある?」

    ヨシコはホワイトボードに書いた。

    Fine-tuning

    その下に、

    Full Fine-Tuning

    そして、

    PEFT

    LoRA

    ヒロシは顔をしかめた。

    「まだ略語があるのか……」

    「むしろここから実務でよく出てくる」


    今日わかったこと

    1. AIへの回答には、単純な正解・不正解だけでなく、「どちらがより望ましいか」というHuman Preferenceが存在する。

    2. Preference Dataは、同じPromptに対する複数のResponseを人間が比較することで作る方法がある。

    3. Reward Modelは、人間のPreferenceそのものではなく、Preference Dataから「どんなResponseが好まれそうか」を学習した近似モデル。

    4. 古典的なRLHFの代表例では、SFT → Preference Data → Reward Model → Reinforcement Learningという流れでモデルを調整する。

    5. InstructGPTでは、Reward Modelを使ってLLMを調整するReinforcement Learning AlgorithmとしてPPOが使われた。

    6. Rewardを最大化すれば無条件に良いわけではない。
      Reward Modelは人間のPreferenceを完全に表すものではなく、Reward Hackingなどの問題も考える必要がある。

    7. “Human Preference”は、人類全体に共通する一つの価値観を意味しない。
      誰が評価するのか、どんな基準を使うのかが重要になる。

    8. Preference LearningにはRLHF以外の方法もあり、DPOのようにPreference DataからPolicyをより直接的に最適化する方法もある。


    ヒロシのAI理解度

    ★★★★☆

    第37話。

    ヒロシは、

    「AIに正解を教える」

    だけでは説明できない世界に入った。

    人間の質問には、

    一つの正解がないことがある。

    そこで、

    どちらのResponseがより望ましいか

    というPreferenceを使う。

    Human Preference。

    Reward Model。

    Reinforcement Learning。

    RLHF。

    DPO。

    しかし、

    ここで大切なのは、

    AIが人間のように、

    「この回答が好き」

    と感じているわけではないこと。

    Preference DataとTraining Objectiveを使って、

    望ましいとされたResponseを、より生成しやすい方向へParameterを調整している。

    そしてヒロシは、

    次の現実的な問題に気づいた。

    LLMには、

    何十億、何百億、あるいはそれ以上のParameterがある。

    Post-trainingするたびに、

    その全部を更新する必要があるのか?

    もし、

    ほんの一部だけを効率的にTrainingできるとしたら?

    次はいよいよ、

    実務でも頻繁に登場する、

    PEFTとLoRA

    の世界へ進む。


    次回予告

    第38話:「何十億個のParameter、全部Trainingし直すの!?」Fine-Tuning・PEFT・LoRAで知るLLMの“効率的な育て方”

    巨大なBase Modelを、

    自社用にFine-tuningしたい。

    金融向け。

    医療向け。

    社内業務向け。

    特定Task向け。

    しかしヒロシは気づいた。

    「このParameter、全部更新するの?」

    巨大なLLMをFull Fine-Tuningすれば、

    Compute。

    GPU Memory。

    Training Cost。

    さまざまな負担が大きくなる。

    そこで登場するのが、

    PEFT(Parameter-Efficient Fine-Tuning)

    そして、

    LoRA(Low-Rank Adaptation)

    だ。

    Base Modelの大量のParameterをそのまま活かしながら、

    追加した比較的小さなParameterを中心にTrainingする。

    そんなことが本当にできるのか?

    次回、

    ヒロシは初めて、

    「モデルを全部Trainingし直さないFine-tuning」

    を知る。

    これでなんとか明日も、

    「RLHFって、人間がAIに“いいね!”を押して育てる仕組みですよね?」

    と言わずに生き残っていけそうだ!


    📚 CognitiveAIヒロシを続けて読む

    ⬅️ 前回:第36話
    「Pretrainingしたのに、まだ使えないの!?」Base ModelとPost-trainingで知るLLMの“仕上げ方”

    https://note.com/fine_lotus9013/n/n96502c32eaf3

    📖 第1話から読む
    42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。

    https://note.com/fine_lotus9013/n/n0fffb9b7b85a

    ➡️ 次回:第38話
    「何十億個のParameter、全部Trainingし直すの!?」Fine-Tuning・PEFT・LoRAで知るLLMの“効率的な育て方”

    →【第38話のURL/公開後に設定】

    #生成AI #AI #LLM #大規模言語モデル #PostTraining #RLHF #HumanFeedback #HumanPreference #RewardModel #PPO #DPO #Alignment #SFT #FineTuning #Pretraining #機械学習 #DeepLearning #AI学習 #AI初心者 #DX #CognitiveAIヒロシ

     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ