AI:008-玄三×葵 AI編【第8話】「巨大Modelを作れば、すぐChatGPTになる?」玄三、Pre-trainingとPost-trainingを知るの巻
タイトル:AI:008-玄三×葵 AI編【第8話】「巨大Modelを作れば、すぐChatGPTになる?」玄三、Pre-trainingとPost-trainingを知るの巻
URL:【公開後に追加】
更新日時:2026年11月10日更新
ハッシュタグ:#AI #LLM #GenerativeAI #PreTraining #PostTraining #SFT #RLHF #FineTuning #Technology #Business #玄三と葵
「葵。」
「うん。」
「昨日の話を整理するとだ。」
玄三はノートを読み上げた。
Dataを大量に集める。
Neural Networkを作る。
たくさんのLayer。
大量のParameter。
Trainingする。
「そこまでやれば、ChatGPTみたいになるんだろう?」
「ならない。」
「即答か。」
「かなり重要なところだから。」
「では何が足りん。」
葵は二つの言葉を書いた。
Pre-training
Post-training
「今日はここ。」
まず、大量の文章から“Languageの土台”を作る
「Pre-training。事前学習。」
「前に少し出てきたな。」
大量のTextを使う。
Book。
Web Page。
Article。
Code。
Document。
さまざまな文章をModelに与える。
そして、
途中までの文章を見せて、
次に来るTokenを予測させる。
玄三が止めた。
「またTokenだ。」
「もうすぐ本格的にやる。」
「今日は?」
「文章をModelが扱う単位、くらいでいい。」
「次を当てる」だけで、なぜ賢くなる?
玄三が怪訝そうな顔をする。
「何兆という文章を読ませて、やることは“次に何が来るか”なのか?」
「かなり単純化すると、そう。」
「それでLanguageが使えるようになる?」
「次を正しく予測するには、かなりいろんなPatternを掴まないといけない。」
Grammar。
Wordの関係。
文章構造。
FactのPattern。
Code。
Reasoningに使えるPattern。
さまざまなものがParameterに反映されていく。
玄三が考える。
「“日本の首都は”の次には“東京”が来やすい。」
「うん。」
「“1+1=”の次には“2”が来やすい。」
「そう。」
「CodeならSyntaxも覚える。」
「そう。」
「つまり、次を当てるTrainingを大量にやることで、その背景にあるPatternも学ぶ。」
「その理解でいい。」
これが「Base Model」
Pre-trainingが終わる。
大量のDataから、
LanguageやさまざまなKnowledge Patternを学んだModelができる。
「これがBase Model。」
「ようやくChatbotか?」
「まだ。」
玄三が嫌な顔をした。
「まだなのか。」
「Base Modelは、文章の続きを書くのが得意なModelだと思った方がいい。」
「質問に答えて」と言っても、答えるとは限らない
葵が書いた。
Input:
RAGとは何ですか?
「普通のChat AIなら答えてくれるよね。」
「当然だ。」
しかしPre-trainingだけのModelでは、
質問に答えるのではなく、
こんな続きを生成するかもしれない。
RAGとは何ですか?
LLMとは何ですか?
Fine-tuningとは何ですか?
玄三が笑った。
「FAQの続きか。」
「そう。」
「間違ってはいないが、聞いたことに答えていない。」
「そこ。」
Pre-trainingでは、
“人間の指示に従って答える”
こと自体を直接Trainingしているわけではない。
玄三が言った。
「Languageは学んだ。」
「うん。」
「だが、Assistantとしての仕事の仕方はまだ教えていない。」
「その通り。」
そこでPost-training
葵は二つ目を指した。
Post-training
事後学習
Pre-training済みのModelに、
今度は、
どう答えるか。
どう指示に従うか。
どんな振る舞いが望ましいか。
を追加で学ばせる。
「新人研修みたいなものか。」
「前にもその比喩使ったね。」
「大学を出たからといって、会社の仕事ができるとは限らん。」
「かなり近い。」
最初は「良い回答のお手本」
「代表的なのがSFT。」
「Supervised Fine-Tuning。」
「よく覚えてる。」
質問。
それに対する理想的な回答。
そうしたExampleを見せる。
たとえば、
質問:LoRAとは何ですか?
それに対し、
分かりやすく。
根拠を整理し。
適切な長さで。
質問に直接答える。
そんな模範回答を学ばせる。
玄三が言った。
「内容だけでなく“答え方”を学ぶ。」
「そう。」
「Pre-trainingがKnowledgeやLanguageの土台。」
「うん。」
「Post-trainingが振る舞いを整える。」
「すごく大事な整理。」
玄三は書いた。
Pre-training = 土台
Post-training = 答え方・振る舞い
「人間が好む回答」も学ばせる
「でも、正解が一つじゃない質問も多い。」
葵が続ける。
例えば、
どちらの説明が分かりやすいか。
どちらがHelpfulか。
どちらが安全か。
どちらが冗長すぎないか。
こうしたものは単純な正誤だけでは決めにくい。
そこで、
複数の回答を人間が比較し、
どちらを好むかというFeedbackを使う方法がある。
「RLHF。」
「第6話で出てきたな。」
「そう。」
Reinforcement Learning from Human Feedback。
人間のPreferenceを利用して、
Modelの振る舞いをさらに調整する。
自動で採点できるものは、機械にも採点させられる
「一方で、正解を機械的に確認できるTaskもある。」
数学。
Code。
形式。
Test。
「たとえばCodeを書かせる。」
「うん。」
「Testが全部通るかを見る。」
「そう。」
正解かどうかをProgramなどで検証できるなら、
その結果をTraining Signalとして使える。
こうしたアプローチには、
RLVRなどの方法もある。
玄三が言った。
「全部、人間が採点する必要はない。」
「そう。」
「Codeで確認できるものはCodeで確認する。」
「それ、後のEvaluationでも重要になる。」
ではChat AIは「人間のように考える」ようになった?
玄三が聞いた。
「Pre-trainingでLanguageを学び、Post-trainingで人間らしい答え方を学ぶ。」
「うん。」
「だから人間のように考えている?」
「そこへ行かない。」
「試しただけだ。」
「危ない。」
Post-trainingで、
丁寧に答える。
質問に直接答える。
分からないと言う。
安全な回答をする。
といった振る舞いを学習できる。
だが、
人間らしいOutput
と、
人間と同じ内部理解
は同じではない。
玄三は書いた。
Human-like Output ≠ Human-like Mind
「これは忘れてはいかんな。」
「うん。」
「賢さ」と「答え方」も同じではない
玄三が続ける。
「すると、面白いことになるな。」
「何?」
「大きなModelが必ず使いやすいとは限らない。」
「そう。」
小さなModelでも、
Taskに適したPost-trainingがされていれば、
特定用途では非常に使いやすい場合がある。
反対に、
非常に強いBase Modelでも、
指示にうまく従えなければ、
一般Userには扱いにくい。
玄三が言った。
「能力と振る舞いは分けて見る。」
「そう。」
「頭がいい社員と、仕事を任せやすい社員が同じとは限らん。」
葵が笑った。
「また人事の話になった。」
「会社とはそういうものだ。」
Fine-Tuningとはどこに入る?
玄三が聞いた。
「ではFine-Tuningは?」
「ここで出てくる。」
すでに学習されたModelを、
特定の目的に合わせて追加で調整する。
回答Format。
Tone。
手順。
専門Taskへの適応。
そうした目的でFine-Tuningが使われることがある。
「では、会社の最新規程をFine-Tuningすればよい。」
玄三が言った。
「そこは注意。」
「なぜだ。」
Knowledgeを増やすことと、振る舞いを変えることは違う
「Fine-Tuningは、特に振る舞いを変えるのが得意。」
決まったJSON形式で返す。
特定のStyleで答える。
Task固有のPatternを覚える。
一方、
毎週変わる価格。
最新のCompany Policy。
昨日更新されたManual。
そういったKnowledgeを正確に更新し続けたいなら、
Fine-Tuningが常に第一選択とは限らない。
玄三が思い出す。
「外からDocumentを探して渡す方法があったな。」
「RAG。」
「まだ詳しくやっていないやつ。」
「Part Vでちゃんとやる。」
玄三は書いた。
Behavior → Fine-Tuningを検討
Fresh Knowledge → RAGを検討
「もちろん現実には組み合わせることもある。」
「Technologyは一択ではない。」
「そう。」
「Modelを学習し直す」と「Inputを変える」も違う
葵はさらに書いた。
Model側を変える
Pre-training
Post-training
Fine-Tuning
Modelは変えず、Input側を変える
Prompt
Context
RAG
玄三がじっと見る。
「これは重要だな。」
「かなり。」
Model自体のParameterを変えるのか。
それともParameterはそのままで、
与えるInputを変えるのか。
「同じ“AIを改善する”でも、やっていることが違う。」
「そう。」
「CostもRiskも違う。」
「そうそう。」
Businessなら、いきなりFine-Tuningするな
玄三が言った。
「わしなら、高い工事から始めない。」
「どういうこと?」
「まずPromptを変える。」
「うん。」
「必要なDocumentを渡す。」
「うん。」
「Modelを変える。」
「うん。」
「それでも足りなければFine-Tuningを考える。」
葵が頷いた。
「実務ではその順番がかなり大事。」
Fine-Tuningには、
Training Dataの準備。
Evaluation。
Compute。
Maintenance。
再Training。
Regression確認。
といったCostがかかる。
玄三が言った。
「“できる”と“やるべき”は違う。」
「今日も出ました。」
Fine-Tuningしたら、前より悪くなることもある?
玄三が聞いた。
「追加Trainingしたら必ず良くなるのか?」
「ならない。」
学習させたTaskでは良くなった。
しかし別の能力が悪化した。
学習Dataへ寄りすぎた。
間違った振る舞いまで学んだ。
そうしたことも起こり得る。
「なら前後で同じEvaluationをしないと駄目だ。」
「そう。」
「改善したものだけでなく、壊れたものも見る。」
「Regression。」
玄三は頷く。
「System変更と同じだ。」
ここまで来て、玄三が一つ気づいた
玄三はノートを見渡した。
Pre-training。
Post-training。
Fine-Tuning。
Prompt。
RAG。
Tool。
「AIが“賢いかどうか”という一言では何も分からんな。」
葵が笑う。
「どういうこと?」
「Modelそのものの能力。」
「うん。」
「どんなPost-trainingを受けたか。」
「うん。」
「どんなContextが与えられたか。」
「うん。」
「どんなToolを持っているか。」
「うん。」
「全部違う。」
「そう。」
玄三は太字で書いた。
AI Capability = Modelだけでは決まらない
「これ、Agent編でかなり重要になるよ。」
「先の話をするな。」
「はい。」
今回の二人の学び
玄三が学んだこと
現在のLLMは、大きく見ると、
Pre-training
で大量のDataからLanguageやKnowledgeの土台を学び、
その後、
Post-training
で人間のInstructionに答える方法や望ましい振る舞いを整えていく。
代表的な考え方には、
SFT。
Human Preferenceを使ったRLHF。
自動Verificationを利用する方法。
などがある。
さらに特定用途へModelを調整するFine-Tuningもある。
重要なのは、
Knowledgeを増やしたいのか。
振る舞いを変えたいのか。
Inputを変えれば済むのか。
を分けること。
葵が学んだこと
Modelが自然に会話するからといって、
最初からChatbotとして生まれたわけではない。
大量のPre-trainingの後に、
人間が使いやすい振る舞いを作るPost-trainingがある。
そしてBusinessでは、
Fine-TuningできるからFine-Tuningする、
ではなく、
Prompt、Context、RAG、Model Selectionなどを含めて、
最もCostと効果が合う方法を選ぶ
必要がある。
玄三はノートを閉じなかった。
「一つ、まだ納得していない。」
「何?」
「さっきから、次のTokenを予測すると言っている。」
「うん。」
「そもそもTokenとは何だ。」
葵が笑った。
「ようやくそこまで来た。」
「文字ではないのか?」
「文字のこともある。でも、文字だけじゃない。」
「単語か?」
「単語のこともある。でも、単語だけでもない。」
玄三の眉間にしわが寄る。
「では何なんだ。」
葵は新しいページを開いた。
「次から、いよいよLLMの中に入るよ。」
玄三が少し笑った。
「ようやくか。」
このシリーズを読む
↩ 第1回に戻る
AI:001|「AIって、結局何なんだ?」玄三、“人工知能という言葉の正体”から学び直すの巻
第1回のURL:【公開後に追加】
← 一つ前のブログに戻る
AI:007|「Neural Networkは人間の脳なのか?」玄三、Deep Learningの“Deep”を覗くの巻
ひとつ前のURL:【公開後に追加】
▶ 次のブログを読む
AI:009|「AIは文章をどう読んでいる?」玄三、Tokenが文字でも単語でもないと知るの巻
次のURL:【公開後に追加】
葵より一言。
普段使っているChat AIは、
最初から「質問に答えるAI」として生まれたわけじゃない。
大量の文章からLanguageのPatternを学んで、
その後に、
人間のInstructionにどう答えるかを学んでいる。
この二段階を知るだけでも、
LLMの見え方がかなり変わる。
玄三より一言。
AIを改善したい、と言う前に、
何を改善したいのか
を明確にすべきだ。
Knowledgeなのか。
答え方なのか。
Formatなのか。
Costなのか。
それによって手段は違う。
Technologyを選ぶ前に、
Problemを分ける。
どうやらAIでも、結局そこへ戻ってくる。