
【第4章:LLMの正体編】第36話:「Pretrainingしたのに、まだ使えないの!?」Base ModelとPost-trainingで知るLLMの“仕上げ方”
はじめて読む方へ
こんにちは。CognitiveAIヒロシです。
このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、
「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。
前回、第35話。
ヒロシは、
LLMはなぜ“大規模”になったのか
を学んだ。
Parameters。
Data。
Compute。
この三つを大きくしていくことで、PretrainingのLossなどには一定の改善傾向が観測される。
Scaling Laws
だ。
しかし、
Parameterだけ増やせばいいわけではない。
Dataとのバランスがある。
Compute Budgetもある。
「一番Parameter数が多いモデル=一番賢いモデル」
でもない。
そこまで理解したヒロシは、ついに確信した。
「ヨシコ」
「何?」
「今度こそ完成だ」
「何が?」
「LLM」
ヨシコが振り返った。
「どうして?」
「だってさ」
ヒロシは指を折りながら数え始めた。
「Tokenを覚えた」
「うん」
「Transformerもやった」
「うん」
「Attentionもやった」
「やったね」
「LossもBackpropagationもOptimizerもやった」
「やった」
「Training LoopもScaling Lawsもやった」
「やったね」
ヒロシは満足そうに言った。
「だから完成」
「完成してない」
「なんでだよ!」
1.PretrainingしたLLMに「要約して」と頼んだら?
ヨシコが言った。
「ヒロシ。Pretrainingで、モデルは何を学習した?」
「大量の文章」
「そうじゃなくて、Trainingの目的」
ヒロシは第32話を思い出した。
Next Token Prediction
だ。
例えば、
「吾輩は猫で」
まで来たら、
次のTokenは何か?
モデルが予測する。
正解と比べる。
Lossを計算する。
Backpropagationする。
Parameterを更新する。
これを大量のText Dataで繰り返す。
「そうか。Pretrainingの基本目的は、次Tokenを予測することだった」
「そう」
「でも、それで文章を生成できるようになるんだろ?」
「なる」
「だったら使えるじゃん」
ヨシコはホワイトボードに書いた。
次のTokenをうまく予測できる
そして、その下に書いた。
人間の指示に適切に応答できる
「この二つ、同じ?」
ヒロシが止まった。
「……違うの?」
2.「続きを書く」と「指示に従う」は同じではない
例えば、ヒロシがモデルにこう入力したとする。
次の文章を3行で要約してください。
そして長い文章を渡す。
ヒロシが期待するのは、
指示を理解して、3行の要約を返すこと。
でもPretrainingでモデルが繰り返してきた基本的な学習は、
与えられたToken列に続きそうなTokenを予測すること
だった。
ヨシコが言った。
「Web上にはどんな文章がある?」
「ニュース」
「うん」
「論文」
「うん」
「小説、ブログ、掲示板、コード……」
「そう。いろいろある」
モデルは大量のTextから、
言葉の使われ方。
文章の構造。
さまざまな概念や関係。
質問と回答のパターン。
指示に応答するようなパターン。
など、多くの統計的なパターンを学習し得る。
だからPretrainingだけでも、PromptによってさまざまなTaskを実行できる能力が現れることがある。
「じゃあやっぱり使えるじゃん」
「“何もできない”わけじゃないよ」
「え?」
「でも、人間の指示に安定して従うことを直接の目的としてPretrainingしたわけではない」
「あ……」
ここが重要だ。
Base Modelは無能なのではない。
むしろ、Pretrainingによって非常に多くの能力を獲得している可能性がある。
しかし、
能力を持っていること
と、
人間が望む形で、その能力を引き出せること
は別の問題なのだ。
3.Base Modelって何?
ヨシコが新しい言葉を書いた。
Base Model
「ベース?」
「まず今日は、Pretrainingを終えた基盤となるモデル、と考えて」
大量のDataを使って、
Next Token Predictionなどの目的でPretrainingする。
その結果できるのが、
Base Model
と呼ばれるモデルだ。
もちろん「Base Model」という言葉の使われ方は文脈によって多少異なる。
しかし今回のヒロシは、
大規模なPretrainingを終え、これから追加のTrainingや調整を行う土台となるモデル
と理解しておけばいい。
ヒロシが言った。
「じゃあBase Modelって未完成品?」
「それもちょっと違う」
「また?」
Base Modelそのものにも価値がある。
文章生成。
Few-shot Learning。
Completion。
さまざまなTask。
研究や追加学習の土台。
用途によってはBase Modelを直接使うこともある。
だから、
Base Model = 使えないモデル
ではない。
ただし、
現在多くの人がChat型AIに期待する、
「ユーザーの指示を理解して、望ましい形で応答する」
という振る舞いには、
さらに調整が行われることが多い。
4.そこでPost-trainingが始まる
ヨシコがBase Modelの右側に矢印を書いた。
Pretraining
↓
Base Model
↓
Post-training
↓
より目的に合ったModel
「Post-training?」
「Pretrainingの後に行うTrainingや調整をまとめて考える言葉」
ヒロシは嫌な顔をした。
「Training、終わったと思ったのに」
「Pretrainingは終わった」
「じゃあ何をTrainingするの?」
「今度は、モデルの振る舞いを目的に合わせて調整していく」
例えば、
指示に従う。
質問に適切に答える。
望ましい形式で出力する。
不要な危険行動を抑える。
人間のPreferenceを反映する。
特定のTaskやDomainへ適応させる。
こうした目的に向けて、Base Modelをさらに調整する。
「つまり……」
ヒロシが考えた。
「Pretrainingが“基礎体力作り”なら、Post-trainingは“どうプレーするかを教える”感じ?」
「比喩としてはかなりいい」
5.PretrainingとPost-trainingは何が違う?
ヒロシがノートを開いた。
「一回整理したい」
Pretrainingでは、
大量のText Data
を使って、
Next Token Predictionなどを通じて、
言語やさまざまなパターンを広く学習する。
一方Post-trainingでは、
Pretraining済みのモデルを出発点として、
人間の指示や目的に、より適した振る舞いへ調整する。
ヒロシは書いた。
Pretraining
= 広く能力の土台を作る
Post-training
= その能力を目的に合う振る舞いへ調整する
「こんな感じ?」
「いいね。ただし境界や具体的な手法はモデルによって違うから、“必ずこの二段階だけ”と思わないこと」
「了解」
6.じゃあPost-trainingでは何をするの?
「具体的には?」
「いろいろある」
ヨシコが書いた。
SFT
Preference Learning
RLHF
「待って待って」
「まだ名前だけ」
「また略語編が始まるのか……」
Post-trainingには、さまざまな手法がある。
その中でも、まず理解したいのが、
SFT
だ。
正式名称は、
Supervised Fine-Tuning
日本語では、
教師ありFine-tuning
などと呼ばれる。
ヒロシが言った。
「Fine-tuningは聞いたことある。微調整?」
「そう訳されることもあるね」
7.SFTでは「お手本」を見せる
ヨシコが例を書いた。
Instruction:
「次の文章を3行で要約してください」
↓
Desired Response:
「①……
②……
③……」
「これをどうすると思う?」
ヒロシが答えた。
「モデルに見せる?」
「そう」
別の例。
Instruction:
「初心者向けにTransformerを説明してください」
↓
Desired Response:
「Transformerは……」
さらに、
Instruction:
「以下を表形式で整理してください」
↓
Desired Response:
「| 項目 | 内容 |
| --- | --- |
……」
こうした、
Instructionと望ましいResponseの組み合わせ
を使ってモデルをFine-tuningする。
モデルに、
「こういう指示には、こういう応答が望ましい」
という例を学習させるわけだ。
これがSFTの基本的なイメージだ。
8.PretrainingとSFT、何が違うの?
ヒロシが言った。
「でもSFTも結局、文章をTrainingするんだろ?」
「そう」
「じゃあPretrainingと何が違う?」
重要なのは、
Training Dataの性質と、何を身につけさせたいか
だ。
Pretrainingでは、
大量のTextを使って、
広範な言語パターンや知識、能力の土台を獲得する。
一方SFTでは、
例えば、
Instruction → Desired Response
というお手本を使い、
特定の望ましい振る舞いを学習させる。
ヒロシが言った。
「Pretrainingは大量の文章を読む」
「ざっくり言えばね」
「SFTは先生が“こう答えてほしい”ってお手本を見せる」
「それもざっくりならいい」
9.でもSFTでもNext Token Predictionしてるんじゃないの?
ヒロシが突然聞いた。
ヨシコが少し驚いた。
「お、いいところに気づいた」
「俺も第36話だからな」
SFTだからといって、
LLM内部の基本的なToken生成の仕組みが、
突然まったく別物になるわけではない。
例えば、
Promptに対して、
望ましいResponseがある。
そのResponseのToken列について、
モデルが次Tokenをより高い確率で予測できるように学習する。
つまり、
「Next Token Predictionを捨てて、まったく別のAIになる」わけではない。
使うDataとTrainingの目的設定によって、
どんなToken列を生成しやすくするか
を調整していく。
ヒロシが言った。
「第32話のLossとか、第33話のBackpropagationもまた出てくる?」
「もちろん」
Forward Pass。
Loss。
Backpropagation。
Gradient。
Optimizer。
Parameter Update。
第32話から第34話で学んだTrainingの基本原理は、
ここでもつながっている。
「おお……」
ヒロシは少し感動した。
「今までの話が捨てられない」
「捨てたら困る」
10.じゃあSFTすれば完成?
ヒロシが言った。
「分かった。じゃあSFTすれば完成!」
「早い」
「また!?」
SFTによって、
モデルはInstructionに対して、
より望ましいResponseを生成しやすくなる。
しかし、
“正解のお手本を見せる”だけで、人間が望む振る舞いをすべて定義できるだろうか?
ヨシコが聞いた。
「例えば、同じ質問に対して回答Aと回答Bがある」
「うん」
「どっちも間違いではない」
「うん」
「でもAの方が分かりやすい」
「あるね」
「Bの方が丁寧だけど長すぎる」
「ある」
「Aは簡潔だけど重要な注意事項が抜けている」
「あるある」
「どっちが望ましい?」
ヒロシが止まった。
「……場合による」
「そう」
現実の応答品質は、
単純な、
正解 / 不正解
だけでは表せない。
11.人間の「こっちの方がいい」をどう教える?
ヨシコが二つの回答を書いた。
Response A
Response B
そして聞いた。
「ヒロシなら、どっちを選ぶ?」
「A」
「なぜ?」
「簡潔で、質問に直接答えてるから」
「それもTraining Dataになる」
「え?」
今度は、
人間に複数のModel Outputを見てもらう。
そして、
どちらのResponseがより望ましいか
を比較してもらう。
Aの方が良い。
Bの方が良い。
このような、
Human Preference
を学習に利用する考え方がある。
ヒロシが言った。
「正解を全部書いてもらうんじゃなくて、“どっちがいい?”を聞く?」
「そういう方法も使える」
12.有名な例がInstructGPT
この考え方を理解するうえで有名なのが、
InstructGPT
だ。
OpenAIが2022年に発表した研究では、
まず人間が望ましいResponseのDemonstrationを作り、
それを使って、
Supervised Fine-Tuning
を行った。
その後、
複数のModel Outputに対する人間の比較データを集め、
人間のPreferenceを予測する、
Reward Model
をTrainingした。
さらに、
そのReward Modelを使ってモデルを調整する、
RLHF
を行った。OpenAI
ヒロシは固まった。
「ちょっと待って」
「何?」
「SFTだけでも新しいのに」
「うん」
「Reward Model?」
「うん」
「RLHF?」
「うん」
「一話でやる気?」
「やらない」
「よかった……」
13.Post-trainingは「知識を追加する」だけではない
ここでヒロシは、また一つ勘違いした。
「つまりPost-trainingって、Pretrainingで足りなかった知識を追加するんだな」
「それだけじゃない」
「違う?」
Post-trainingでは、
新しいTaskやDomainへの適応など、さまざまな目的があり得る。
しかし、
Instruction TuningやPreference Alignmentを考える場合、
重要なのは単なる、
「知識の追加」
ではない。
すでにBase Modelが持っている能力を、
人間が使いやすい形で引き出す
という側面もある。
InstructGPTの研究でも、Post-trainingによって、Pretrainingですでに獲得していたがPrompt Engineeringだけでは引き出しにくかった能力を利用しやすくする、という見方が示されている。OpenAI
ヒロシが言った。
「知識を詰め込むというより……」
少し考えた。
「持っている能力の“出し方”を整える?」
「それはかなりいい理解」
14.「賢い」と「使いやすい」は別の軸
ヒロシは第35話を思い出した。
Scaling Laws。
Parameters。
Data。
Compute。
モデルを大規模化することで、
Base Modelの能力を高めていく。
でも、
モデルが大きくなったからといって、
自動的に、
ユーザーの意図に従う。
役に立つ。
安全に振る舞う。
望ましい形式で答える。
ようになるとは限らない。
実際、InstructGPTの研究では、
モデルを大きくするだけでは、必ずしもユーザーの意図に従う能力が向上するわけではない
ことが問題意識として示されていた。OpenAI CDN
ヒロシが言った。
「第35話とつながった」
「どう?」
「Parameterを増やすことと、人間にとって使いやすくすることは同じじゃない」
「その通り」
15.PretrainingとPost-trainingが、ようやく一本につながった
ヨシコがホワイトボードに大きく書いた。
大量のTraining Data
↓
Pretraining
↓
Base Model
↓
Post-training
↓
SFT
↓
Preferenceを使った調整など
↓
人間の目的に、より適したModel
ヒロシはしばらく眺めた。
「今まで俺、ChatGPTみたいなAIは、大量の文章を読ませればそのまま出来上がると思ってた」
「そこが今日のポイント」
Pretrainingは非常に重要だ。
言語能力。
広範なパターン。
多様なTaskにつながる能力。
モデルの基盤となるものの多くが、ここで形成される。
しかし、
Base Modelを、人間が対話で使いやすいModelへ調整する工程も重要だ。
ヒロシが書いた。
Pretrainingだけで、現在のChat型AIの振る舞いすべてが決まるわけではない。
16.でも、Human Preferenceって誰のPreference?
ヒロシがホワイトボードを見ながら、
急に手を止めた。
「ヨシコ」
「何?」
「ちょっと怖いことに気づいた」
「何?」
「Human Preferenceって……誰のPreference?」
ヨシコが振り返った。
ヒロシは続けた。
「人によって、“いい回答”って違うよな?」
「そうだね」
「丁寧な方がいい人もいる」
「いる」
「短い方がいい人もいる」
「いる」
「ある回答を安全だと思う人もいれば、制限しすぎだと思う人もいるかもしれない」
「そう」
「じゃあ……」
ヒロシはReward Modelという文字を指した。
「AIにとって“良い回答”って、誰が決めるの?」
ヨシコが笑った。
「そこからがAlignmentの本番」
ヒロシは嫌な予感しかしなかった。
今日わかったこと
Pretrainingの基本目的と、人間のInstructionに適切に応答することは同じではない。
Pretrainingだけでも多くの能力は現れ得るが、Instruction Followingを直接の目的としているとは限らない。Base Modelは、Pretrainingを終え、追加のTrainingや調整の土台となるモデルとして理解できる。
Base Model自体が「使えない」という意味ではない。Post-trainingは、Pretraining後のモデルを目的に応じてさらに調整する段階。
SFT(Supervised Fine-Tuning)では、Instructionと望ましいResponseなどのDemonstrationを使ってモデルを調整できる。
SFTでも、LLMの基本的なToken PredictionやLoss、Backpropagationなど、これまで学んだTrainingの仕組みがつながっている。
SFTだけで「人間にとって望ましい回答」のすべてを定義できるとは限らない。
正解・不正解だけでなく、複数のResponseのどちらを好むかというPreferenceも重要になる。RLHFではHuman FeedbackをTrainingに利用する。
InstructGPTではDemonstrationによるSFT、Human Preferenceを学ぶReward Model、そしてReinforcement Learningという流れが使われた。モデルの能力を大きくすることと、人間の目的に沿った振る舞いへ調整することは別の問題。
ここからPost-trainingとAlignmentの世界が始まる。
ヒロシのAI理解度
★★★★☆
第36話。
ヒロシはついに、
「Pretrainingが終わればChat型AIが完成する」
という思い込みを捨てた。
これまで学んできたのは、
Token。
Embedding。
Transformer。
Attention。
Feed Forward。
Output Projection。
Next Token Prediction。
Loss。
Backpropagation。
Optimizer。
Training Loop。
Scaling Laws。
ここまでが、
LLMの能力の土台がどう作られるのか
を理解する旅だった。
そして今日、
その先に新しい世界があることを知った。
Pretraining
↓
Base Model
↓
Post-training
↓
SFT
↓
Preference Learning / RLHFなど
モデルを大きくするだけでは、
人間が望むAIになるとは限らない。
では、
人間が望むAIとは何なのか?
そして、
「良い回答」を、どうやってAIに教えるのか?
ここからヒロシは、
単なる「学習」から、
Alignment
という問題へ足を踏み入れていく。
次回予告
第37話:「正解がないのに、どうやって教えるの!?」Human Preference・Reward Model・RLHFで知るAIの“好みの学び方”
SFTでは、
人間が「こう答えてほしい」というお手本を見せた。
でも現実には、
答えが一つとは限らない。
Response A。
Response B。
どちらも間違いではない。
でも、
「こっちの方がいい」
はある。
では、その人間のPreferenceを、
どうやってAIのTrainingに使うのか?
次回は、
Human Preference
Reward Model
Reinforcement Learning
RLHF
へ進む。
そしてヒロシは、
もっと根本的な疑問にぶつかる。
「そもそも、誰のPreferenceにAlignするんだ?」
これでなんとか明日も、
「大量の文章でPretrainingすれば、そのままChatGPTみたいになるんですよね?」
と言わずに生き残っていけそうだ!
📚 CognitiveAIヒロシを続けて読む
⬅️ 前回:第35話
「大きければ大きいほど賢いの!?」Parameter・Data・Computeで知るLLMのScaling Laws
https://note.com/fine_lotus9013/n/n4cdd72f12adf
📖 第1話から読む
42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
➡️ 次回:第37話
「正解がないのに、どうやって教えるの!?」Human Preference・Reward Model・RLHFで知るAIの“好みの学び方”
→【第37話のURL/公開後に設定】
#生成AI #AI #LLM #大規模言語モデル #PostTraining #事後学習 #BaseModel #SFT #SupervisedFineTuning #FineTuning #InstructionTuning #HumanFeedback #HumanPreference #RLHF #Alignment #Pretraining #Transformer #機械学習 #DeepLearning #AI初心者 #DX #CognitiveAIヒロシ