
【第4章:LLMの正体編】第34話:「1回学習したら終わりじゃないの!?」Batch・Step・Epochで知るLLMのTraining Loop
はじめて読む方へ
こんにちは。CognitiveAIヒロシです。
このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、
「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。
前回、第33話。
ヒロシはついに、
「AIが学ぶ」
という言葉の中身を知った。
Training Dataを入れる。
Forward Pass
で次Tokenを予測する。
正解Tokenと比べて、
Loss
を計算する。
Backpropagation
でGradientを求める。
そして、
Optimizer
がParameterを更新する。
ヒロシはホワイトボードに大きく書いた。
Forward
→ Loss
→ Backward
→ Update
「ヨシコ」
「何?」
「これでTraining完成だな」
「完成してない」
「え?」
「それ、1回分」
ヒロシのコーヒーを持つ手が止まった。
「……1回?」
「うん」
「昨日あんなに勉強したのに?」
「Trainingはここからが長いよ」
1.Parameterを1回直したら、AIは賢くなる?
第33話で学んだ流れをもう一度見てみよう。
Training Dataを入れる。
↓
モデルが予測する。
↓
Lossを計算する。
↓
Gradientを計算する。
↓
Parameterを更新する。
ヒロシが言った。
「これでParameterが良くなったんだろ?」
「少し更新された」
「じゃあ終了」
「なんで?」
「直したから」
ヨシコが聞いた。
「英単語を一問解いて、間違いを直したら英語学習終了?」
「しない」
「ゴルフで一球打ってフォームを直したら練習終了?」
「しない」
「営業研修でロープレを一回やったら?」
「……終了しない」
同じだ。
LLMのTrainingでも、
1回Parameterを更新しただけでは終わらない。
別のTraining Dataについて、
また予測する。
またLossを計算する。
またGradientを求める。
またParameterを更新する。
これを、
大量に繰り返す。
2.でもTraining Dataを一個ずつ処理するの?
ヒロシが聞いた。
「じゃあ文章を一個入れて、Parameterを更新して、次の文章を入れて……?」
「それだけがやり方ではない。実際のTrainingでは、複数の学習サンプルをまとめて処理する」
そこで登場するのが、
Batch(バッチ)
だ。
例えばTraining Dataに、
サンプルA
サンプルB
サンプルC
サンプルD
……
と大量のデータがあるとする。
これをある単位にまとめて、
一度に処理する。
その小さなまとまりを、
Mini-batch(ミニバッチ)
と呼ぶ。
「バッチ処理なら仕事でも聞く」
「考え方は近い」
3.なぜまとめるの?
「でも、一個ずつやればいいじゃん」
「できる場合もある。でも計算機を効率的に使いたい」
LLMのTrainingでは、
大量の行列演算を行う。
GPUなどの計算資源は、
こうした演算を並列に処理するのが得意だ。
そこで複数の学習サンプルをまとめ、
一度にForward Passを行う。
そして、
それぞれの予測についてLossを計算する。
例えば、
Sample A → Loss 2.1
Sample B → Loss 1.7
Sample C → Loss 2.5
Sample D → Loss 1.9
これらをまとめて、
そのMini-batchに対するLossを計算する。
そしてBackpropagationによってGradientを求め、
OptimizerでParameterを更新する。
ヒロシが言った。
「4人分のテストをまとめて採点して、まとめて授業内容を改善する感じ?」
「直感としては悪くない」
4.これが「1 Step」
ヨシコが書いた。
Mini-batchを取り出す
↓
Forward Pass
↓
Loss
↓
Backpropagation
↓
OptimizerによるParameter Update
そして、その横に書いた。
1 Step
「Step?」
「TrainingでParameterを一度更新する単位として使われる言葉」
例えば、
Step 1
→ Mini-batch AでParameter Update
Step 2
→ Mini-batch BでParameter Update
Step 3
→ Mini-batch CでParameter Update
……
と進んでいく。
ヒロシが言った。
「つまり第33話で勉強したのは……」
「Training Loopの1 Stepの中身とも考えられる」
「なるほど!」
第33話と第34話が、ここでつながった。
5.じゃあEpochって何?
ヒロシがまた聞いた。
「AIの勉強でEpochって言葉も聞くぞ」
「そこまで行こう」
Training Dataset全体を、
一通り使って学習すること
を、
1 Epoch(エポック)
と呼ぶ。
例えば、説明を簡単にするため、
Training Datasetが1,000サンプル。
Mini-batchが100サンプル。
だとする。
すると、
100サンプルずつ処理して、
おおよそ10回のStepで、
Dataset全体を一巡する。
これが、
1 Epoch
だ。
ヒロシは書いた。
Batch / Mini-batch
= 一度に処理するデータのまとまり
Step
= Parameterを一度更新する単位
Epoch
= Training Dataset全体を一巡する単位
「おお、整理できた」
6.Epochを増やせば増やすほど賢くなる?
ヒロシがすぐに言った。
「じゃあ100 Epochやればいい」
「なぜ?」
「たくさん勉強した方が賢くなるから」
「必ずしもそうじゃない」
「また?」
同じTraining Dataを何度も学習すれば、
Training Dataに対するLossは下がっていくかもしれない。
しかし、
Training Dataをうまく予測できること
と、
未知のDataに対してもうまく機能すること
は同じではない。
学習データに過度に適合してしまう、
Overfitting(過学習)
という問題もある。
「問題集の答えだけ暗記した感じ?」
「直感としては近い」
大切なのは、
Training Dataだけで良い成績を取ることではない。
学習に使っていないDataでも、ちゃんと機能すること。
7.そこでValidation Dataが出てくる
ヨシコがDatasetを三つに分けて書いた。
Training Data
Validation Data
Test Data
「また増えた……」
Training Dataは、
Parameterを学習するためのデータ。
Validation Dataは、
学習途中のモデルの性能を確認したり、学習設定を調整したりするためのデータ。
Test Dataは、
最終的なモデル性能を評価するために分けておくデータ。
ただし、実際のLLM開発ではデータ分割や評価方法は目的によってさまざまであり、必ずこの三分割だけで運用されるわけではない。
ヒロシが聞いた。
「Validation DataではBackpropagationする?」
「基本的にはParameter Updateのためには使わない」
「つまりテストだけ?」
「学習途中の健康診断に近いかな」
8.Training Lossだけ見てはいけない
例えば、
Training Lossが、
5.0
↓
4.0
↓
3.0
↓
2.0
↓
1.0
と下がっている。
ヒロシが言った。
「順調!」
「それだけでは判断できない」
Validation側のLossが、
4.8
↓
3.9
↓
3.2
↓
3.4
↓
4.1
だったらどうだろう。
「途中から悪くなってる」
「そう」
Training Dataにはどんどん適合している。
しかし、
学習に直接使っていないDataでは性能が悪化している。
こうした情報を見ることで、
学習が本当に望ましい方向へ進んでいるのか
を確認する。
「Lossって一個見ればいいわけじゃないんだな」
「そういうこと」
9.ところが巨大LLMでは、もっと大変なことが起きる
ヒロシは安心した。
「なるほど。あとはStepをいっぱい回してLossを下げればいい」
「理論だけならきれいなんだけどね」
「嫌な言い方だな」
実際の大規模なLLM Trainingは、
単純にTraining Loopを回せば終わるほど簡単ではない。
講義資料にも、
大規模モデルや複数ノードでの分散学習では、小規模モデルでは目立たない問題が起こり得る
とある。
例えば、
Loss Spike
ハードウェア障害
ネットワーク障害
数値計算の安定性
などだ。
「Loss Spike?」
「Lossが突然大きく跳ねるような現象」
「順調に勉強してたAIが突然キレる?」
「キレてない」
10.Lossは、きれいに下がり続けるとは限らない
ヒロシのイメージでは、
Trainingとは、
Loss 10
↓
Loss 9
↓
Loss 8
↓
Loss 7
↓
Loss 6
と、
きれいに下がっていくものだった。
しかし現実には、
学習はそんなに整然としているとは限らない。
Lossが上下することもある。
場合によっては、
突然大きく跳ね上がる。
これが、
Loss Spike
と呼ばれる現象だ。
原因は一つとは限らない。
データ。
Optimizer。
Learning Rate。
数値計算。
分散学習。
その他のTraining条件。
さまざまな要因が関係し得る。
ヒロシが言った。
「Lossを下げる仕組みが分かっても、“ちゃんと下がる”とは限らない?」
「そう」
11.GPUを1台増やせばいい……では済まない
巨大なLLMをTrainingするには、
膨大な計算が必要になる。
一台のGPUだけでは現実的でない規模になることもある。
そこで、
複数のGPU
さらには、
複数の計算ノード
を使ってTrainingする。
これが、
Distributed Training(分散学習)
につながる。
「みんなで分担して計算する?」
「大まかにはそう」
しかし、計算機を増やせば、
今度は、
GPU同士。
ノード同士。
ネットワーク通信。
データの分配。
ParameterやGradientの同期。
といった別の問題が出てくる。
「人を増やしたら会議が増えるみたいだな」
「会社員らしい例えだね」
「200人のプロジェクトをなめるな」
12.数字の表し方までTrainingに影響する
さらにヒロシを驚かせたのは、
数値形式
だった。
コンピュータの中では、
数値をどの精度で表現するかによって、
必要なMemory量や計算効率が変わる。
例えば、
FP32。
FP16。
bfloat16。
などがある。
「32とか16って?」
「ざっくり言えば、数値を表現する形式の違い」
低い精度をうまく使えば、
Memory使用量や計算効率で有利になることがある。
しかし、
数値計算の安定性
も考えなければならない。
講義資料でも、大規模Trainingでは計算に使う数値形式によって安定性が変わることが指摘され、近年のTrainingではbfloat16が広く使われる例が示されている。
ヒロシが言った。
「AIって数学だけじゃなくて、コンピュータ工学も必要なのか」
「大規模にTrainingするなら、かなり重要」
13.Trainingは「学習アルゴリズム」だけではなかった
ヒロシは、ここまでを整理した。
第32話では、
何を正解として、どうLossを作るのか
を学んだ。
第33話では、
LossからGradientを求め、Parameterをどう更新するのか
を学んだ。
そして今日。
そのParameter Updateを、
Mini-batchごとに何Stepも繰り返す。
Dataset全体を回す。
途中で評価する。
Lossを監視する。
Trainingが不安定になれば対処する。
巨大モデルなら、
GPUを並列化する。
分散学習する。
Memoryを管理する。
数値計算の安定性を考える。
ヒロシは言った。
「ヨシコ」
「何?」
「“AIに大量の文章を読ませて学習させました”って……」
「うん」
「ものすごくいろんなものを省略した表現なんだな」
ヨシコが笑った。
「かなりね」
14.ここまでで「LLMをTrainingする」が一本につながった
ヒロシはホワイトボードいっぱいに書いた。
Training Data
↓
Mini-batchを作る
↓
Forward Pass
↓
Next Token Prediction
↓
Cross-Entropy / Loss
↓
Backpropagation
↓
Gradient
↓
Optimizer
↓
Parameter Update
↓
1 Step
↓
次のMini-batch
↓
またForward Pass
↓
またLoss
↓
またBackpropagation
↓
またParameter Update
↓
Dataset全体を一巡
↓
1 Epoch
そして、その横に書いた。
Validation
Loss Monitoring
Training Stability
Distributed Training
ヒロシはしばらく眺めた。
「……Trainingになった」
第32話では、
一問の答え合わせをした。
第33話では、
一回の修正方法を知った。
第34話でようやく、
それを大量に繰り返してLLMをTrainingする姿
が見えた。
15.では、どれくらいTrainingすればいい?
ところが。
ヒロシには、また疑問が生まれた。
「ヨシコ」
「何?」
「結局、どれくらいやればいい?」
「何を?」
「全部」
ヒロシはホワイトボードを指した。
「Parameterはいくつ?」
「Dataはどれくらい?」
「GPUは何台?」
「Computeはどれくらい?」
「どこまで増やしたら、どれくらい性能が上がる?」
ヨシコが笑った。
「やっと次の話ができるね」
そして、三つの言葉を書いた。
Parameters
Data
Compute
その下に、
Scaling Laws
ヒロシが腕を組んだ。
「つまり……」
「うん」
「全部増やせば最強?」
「次回、それを検証しよう」
今日わかったこと
第33話で学んだForward → Loss → Backward → Updateは、Training Loopの1 Stepの中身と考えられる。
Mini-batchは、複数の学習サンプルをまとめて処理する単位。
GPUなどの計算資源を効率的に利用するうえでも重要になる。Stepは、Training中にParameterを更新する一つの単位として使われる。
Epochは、Training Dataset全体を一通り使って学習する単位。
Training Lossが下がるだけでは十分とは限らない。
未知のDataに対するGeneralizationも重要であり、Validationによる確認が必要になる。大規模LLM Trainingでは、Loss Spikeなど学習の不安定性が問題になることがある。
巨大なLLMでは複数GPU・複数ノードによるDistributed Trainingが必要になる場合があり、通信や同期など新しい課題も生まれる。
LLM Trainingは単なる“学習アルゴリズム”ではない。
Data、Algorithm、Hardware、Memory、数値計算、分散処理まで含む巨大なシステムである。
ヒロシのAI理解度
★★★★☆
第34話。
ヒロシはようやく、
「LLMをTrainingする」
という言葉を、一回のParameter Updateではなく、
継続的なTraining Loop
として見られるようになった。
Training Data。
Mini-batch。
Forward Pass。
Loss。
Backpropagation。
Gradient。
Optimizer。
Parameter Update。
Step。
Epoch。
Validation。
Training Stability。
Distributed Training。
第32話から3話かけて、
LLMがどう学習するのか
が一本につながった。
しかし、新しい疑問が残った。
モデルをもっと大きくする。
Dataをもっと増やす。
Computeをもっと投入する。
すると、
LLMの性能はどこまで上がるのか?
そして、
Parameter・Data・Computeには、どんな関係があるのか?
次は、
LLMが「大規模」であることそのものに踏み込む。
次回予告
第35話:「大きければ大きいほど賢いの!?」Parameter・Data・Computeで知るLLMのScaling Laws
Parameterを増やす。
Training Dataを増やす。
GPUを増やす。
ヒロシには簡単な答えが見えていた。
「全部増やせばいい。」
しかし、本当にそうなのか?
Parameterだけ巨大にして、
Dataが足りなかったら?
Dataを大量に用意しても、
Computeが足りなかったら?
そして、
10倍大きくしたら、性能も10倍になるのか?
次回は、
Parameters
Data
Compute
そして、
Scaling Laws
の関係へ進む。
さらに、
「巨大モデルを作れば作るほど正義」
というヒロシの新しい思い込みにも、
少し修正が必要になりそうだ。
これでなんとか明日も、
「Epochって、AIのバージョン番号ですよね?」
と言わずに生き残っていけそうだ!
📚 CognitiveAIヒロシを続けて読む
⬅️ 前回:第33話
「何十億個のParameter、どこを直すの!?」Gradient・Backpropagationで知るAIの“反省方法”
https://note.com/fine_lotus9013/n/n843d722ebf05
📖 第1話から読む
42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
➡️ 次回:第35話
「大きければ大きいほど賢いの!?」Parameter・Data・Computeで知るLLMのScaling Laws
→【第35話のURL/公開後に設定】