
【第4章:LLMの正体編】第35話:「大きければ大きいほど賢いの!?」Parameter・Data・Computeで知るLLMのScaling Laws
はじめて読む方へ
こんにちは。CognitiveAIヒロシです。
このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、
「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。
前回、第34話。
ヒロシはようやく、
「LLMをTrainingする」
という言葉の実態が見えてきた。
Mini-batchを取り出す。
Forward Passする。
Lossを計算する。
Backpropagationする。
OptimizerでParameterを更新する。
これが、
1 Step。
それを繰り返してTrainingを進めていく。
しかも巨大なLLMになると、
複数のGPU。
分散学習。
大量のMemory。
ネットワーク通信。
Loss Spike。
数値計算の安定性。
いろいろな問題まで考えなければならない。
ヒロシは思った。
LLMを作るって、
とんでもなく大変なんだな。
……しかし。
大変だと分かると、
なぜか人間は単純化したくなる。
翌朝。
ヒロシは自信満々にヨシコへ言った。
「分かったぞ」
「何が?」
「強いAIの作り方」
ヨシコが嫌な顔をした。
「聞くだけ聞こうか」
ヒロシはホワイトボードに大きく書いた。
Parameterを増やす!
Dataを増やす!
GPUを増やす!
そして最後に、
全部デカくする!
ヨシコはしばらく黙っていた。
「……半分くらい、歴史的には重要な発想」
「ほら!」
「でも、それだけじゃダメ」
「また!?」
1.そもそも、なぜ“大規模”言語モデルなのか?
ヒロシは改めて考えた。
LLM。
Large Language Model。
「Largeって、何がLargeなの?」
「いい質問」
モデルの規模を考えるとき、
まず分かりやすいものの一つが、
Parameter数
だ。
第33話で学んだように、
LLMの内部には大量のParameterが存在する。
Attention。
Feed Forward Network。
Embedding。
Output Projection。
さまざまな場所にある学習可能なParameterが、Trainingによって調整される。
「じゃあParameterが多いモデルほどLarge?」
「モデル規模を表す重要な指標の一つではある」
そこで今日は、
Parameter数を、
N
と書いてみよう。
ヒロシが言った。
「なぜN?」
「今日は記号として使うだけ。怖がらなくていい」
ホワイトボードに一つ目が書かれた。
N = Parameters
2.Parameterだけ増やせばいい?
ヒロシは言った。
「じゃあ簡単じゃん。Nを増やす」
「例えば?」
「10億Parameterより100億Parameter」
「うん」
「100億より1000億」
「そのモデル、何で学習するの?」
「え?」
Parameterが大量にあっても、
Training Dataが十分でなければどうなるだろう。
モデルには大量のParameterがある。
しかし、
そこから学習するためのDataが足りない。
ヒロシが言った。
「巨大な脳みそを作ったのに、教科書が薄い?」
「“脳みそ”は比喩として注意が必要だけど、イメージは近い」
そこで二つ目。
学習に使うData量。
特に、どれだけのTokenをTrainingに使うかを考える。
これを、
D = Training Data
としてみる。
ホワイトボードには、
N = Parameters
D = Data
が並んだ。
3.Dataも増やせば解決?
ヒロシは即答した。
「分かった。Parameterを増やして、Dataも増やす」
「それをどうやって計算するの?」
「……GPU?」
「そう」
第34話で見たように、
Trainingでは、
Forward Pass。
Loss。
Backpropagation。
Parameter Update。
を大量に繰り返す。
Parameterが増える。
Dataも増える。
すると当然、
Trainingに必要な計算量も増える。
そこで三つ目。
Compute
だ。
ここでは、
C = Compute
としよう。
ついに三つがそろった。
N = Parameters
D = Data
C = Compute
ヒロシは腕を組んだ。
「Parameter、Data、Compute」
「この三つの関係が重要になる」
4.LLMには「三角関係」がある
ヨシコが三角形を書いた。
Parameters(N)
/ \
/ \
Data(D) ───── Compute(C)
ヒロシが言った。
「恋愛ドラマみたいになってきた」
「全然違う」
例えば、
Parameterを増やす。
すると、より大きなモデルをTrainingするためのComputeが必要になる。
Dataを増やす。
すると、より多くのTokenを処理するComputeが必要になる。
Computeに上限があるなら、
ParameterとDataを好きなだけ増やせるわけではない。
「つまりGPU予算が有限なら、全部無限にはできない」
「その通り」
ここで問題になる。
限られたComputeを、ParameterとDataにどう配分すればいいのか?
5.そこでScaling Lawsが出てくる
ヨシコがホワイトボードに書いた。
Scaling Laws
「スケール……法則?」
「LLMの世界ではとても重要な考え方」
ニューラル言語モデルでは、
モデルのParameter数。
Training Data量。
Trainingに使うCompute。
こうした規模を大きくしていったとき、
モデルのLossなどの性能指標がどう変化していくか
について、経験的な規則性が観測されてきた。
これが、
Scaling Laws(スケール則)
だ。
ヒロシの目が輝いた。
「ほら!」
「何が?」
「俺の“全部デカくする理論”!」
「最後まで聞いて」
6.10倍大きくしたら、10倍賢くなる?
ヒロシは聞いた。
「Scaling Lawってことは、Parameterを10倍にしたら性能も10倍?」
「そういう単純な比例ではない」
「違うの?」
Scaling Lawsで重要なのは、
規模を大きくすると、Lossなどにある程度予測可能な傾向が現れる
という点だ。
しかし、
Parameterを2倍にしたら能力が2倍。
Computeを10倍にしたら回答品質が10倍。
という意味ではない。
「じゃあ、“10倍のお金で10倍賢い”ではない?」
「全然違う」
ヒロシはノートに書いた。
Scaling ≠ 性能の単純な掛け算
7.Scaling Lawsの何がそんなにすごかったの?
ヒロシは首をかしげた。
「でも、“大きくしたら良くなりました”って、そんなにすごいこと?」
「そこだけ見るとそう感じるよね」
重要なのは、
規模を大きくしたときの性能変化に、ある程度の規則性が見えてきたこと
だった。
小さなモデルをTrainingする。
少し大きなモデルをTrainingする。
Data量を変える。
Compute量を変える。
そして結果を測る。
すると、
より大規模なTrainingをしたときに、
Lossがどの程度改善しそうか
を考える材料になる。
「つまり巨大モデルを作ってから、“ダメでした”じゃなくて……」
「小さい規模で得られた傾向から、大きくした場合を予測する材料になる」
「それ、経営的にも重要じゃない?」
「かなり重要」
巨大LLMのTrainingには、
膨大なComputeとコストがかかる。
Scaling Lawsは、
単なる研究上の面白いグラフではない。
どの規模のモデルを、どれだけのDataとComputeでTrainingするか。
そんな設計や投資判断にもつながる考え方なのだ。
8.でも「一番大きいモデル」が正解じゃないの?
ヒロシはまだ納得していない。
「予算が同じなら、できるだけParameterの多いモデルを作ればいいんじゃない?」
「そこが次のポイント」
例えば、
使えるCompute Budgetが決まっているとする。
案A。
巨大なモデルを作る。
でもTraining Dataは少なめ。
案B。
少し小さいモデルにする。
その代わり、より多くのDataでTrainingする。
どちらが良いだろう?
「Aじゃないの?」
「どうして?」
「Parameterが多いから」
「それを疑う重要な研究が出てきた」
ヨシコが書いた。
Chinchilla
「チンチラ?」
「今回は動物の話じゃない」
9.Chinchillaが突きつけた「大きさだけじゃない」
2022年。
DeepMindの研究チームは、
Training Computeが限られている場合、モデルサイズとTraining Dataをどう配分するのが効率的か
を詳しく調べた。
この研究で有名になったのが、
Chinchilla
だ。
ポイントは、
Parameter数だけを大きくすればよいわけではない
ということ。
同じCompute Budgetでも、
巨大なモデルに比較的少ないDataを与えるより、
モデルサイズとTraining Data量をより適切にバランスさせた方が、良い結果を得られる場合がある。
実際、Chinchillaの研究では、
70B ParameterのChinchillaを、より多くのTraining Tokenで学習させ、
同程度のTraining Computeを使った280B ParameterのGopherを多くの評価で上回る結果が報告された。
「待って」
「何?」
「70Bが280Bに?」
「そう」
「Parameterが4倍あれば勝てるんじゃないの?」
「だから、Parameter数だけでは決まらない」
ヒロシはしばらく黙った。
そして、
自分のホワイトボードに書いた、
全部デカくする!
を静かに消した。
10.「モデルが大きすぎる」こともある?
ヒロシは驚いた。
「Parameterが多いこと自体が悪いの?」
「そういう話でもない」
重要なのは、
Compute Budgetとのバランス
だ。
限られたComputeしかないのに、
Parameter数へ多くを振りすぎる。
すると、
その巨大なモデルを十分なDataでTrainingできない可能性がある。
逆に、
モデルが小さすぎるのにDataだけ大量に投入しても、
別の制約が出てくる。
つまり、
Nだけを見るな。
Dだけを見るな。
Cだけを見るな。
三つを一緒に考える。
これが重要になる。
ヒロシは三角形を見直した。
Parameters
Data
Compute
「本当に三角関係だった……」
「だから恋愛ドラマにするな」
11.ComputeとN・Dにはどんな関係がある?
ここでヨシコが、少しだけ数式を書いた。
C ≈ 6ND
「待った!」
「まだ何も説明してない」
これはTransformerのTraining Computeを概算するときに使われる、
近似的な関係
の一つだ。
NはParameter数。
DはTraining Token数。
CはTrainingに必要なCompute。
つまり、かなり大ざっぱに言えば、
モデルが大きくなればComputeが増える。
学習するTokenが増えてもComputeが増える。
ヒロシが式を見た。
「Parameterを2倍にして、Dataも2倍にしたら……」
「この単純な近似ではComputeは約4倍」
「うわ」
Scalingは、
無料ではない。
12.じゃあ「最適な組み合わせ」を探せばいい
ヒロシが言った。
「分かった!」
「何が?」
「予算を決める」
「うん」
「Compute Budgetを決める」
「うん」
「その中で、NとDのいい組み合わせを探す!」
「それがCompute-optimalという考え方につながる」
同じComputeを使うなら、
どれくらいのParameter数にするか。
どれくらいのTraining Tokenを使うか。
その配分によって、
最終的なLossは変わり得る。
だから、
モデルサイズだけを競う
のではなく、
限られたComputeで、NとDをどう配分するか
を考える。
これが、
Compute-optimal Scaling
の重要な発想だ。
13.「175Bだから70Bより賢い」は危険
ヒロシは思い出した。
「モデル紹介で“○○B Parameters”ってよく見るぞ」
「見るね」
BはBillion。
10億だ。
例えば、
7B。
70B。
175B。
などと書かれていれば、
Parameter数の規模を示している場合がある。
ヒロシが言った。
「じゃあ175Bの方が70Bより強い!」
「それだけでは判断できない」
モデルの性能は、
Parameter数だけでは決まらない。
どんなDataでTrainingしたのか。
どれくらいのDataを使ったのか。
Training方法はどうだったのか。
Architectureはどうなっているのか。
その後どんなPost-trainingをしたのか。
何のTaskで評価するのか。
さまざまな要因が関係する。
つまり、
Parameter Count ≠ モデルの総合的な賢さ
だ。
「車の排気量だけ見て、“この車が全部勝ち”って言ってるようなもの?」
「一つのスペックだけで全部を決められない、という点では近い」
14.Lossが下がれば、全部の能力が上がる?
ヒロシはさらに聞いた。
「じゃあScalingしてPretraining Lossが下がったら、すべてのTaskで性能が上がる?」
「そこも単純じゃない」
Pretraining Lossが改善することは、
モデルがTrainingの目的であるNext Token Predictionを、よりうまく行えるようになっていることを示す重要な指標だ。
しかし、
それだけでモデルの能力すべてを語ることはできない。
翻訳。
要約。
質問応答。
数学。
Coding。
Reasoning。
モデルにやらせたいTaskはさまざまだ。
Taskによって、
Scalingしたときの性能変化の現れ方も同じとは限らない。
ヒロシが言った。
「つまりLossが下がったから、“何でも賢くなりました”とは言えない」
「そう」
だから最終的には、
何をできるモデルにしたいのか。
そして、
それを何で評価するのか。
も重要になる。
15.Scaling Lawsは「巨大化すれば勝ち」という法則ではない
ヒロシはノートを見返した。
最初に書いたのは、
全部デカくする!
だった。
しかし今は違う。
Parameterを増やす。
Dataを増やす。
Computeを増やす。
規模を拡大することで、
Pretraining Lossなどには一定の改善傾向が観測されてきた。
だからScalingは重要だった。
しかし、
Parameterだけ増やせばいいわけではない。
Dataとのバランスがある。
Compute Budgetがある。
そしてPretraining Lossが下がったからといって、
すべてのTask性能が同じように向上するわけでもない。
ヒロシが言った。
「Scaling Lawsって、“デカくすれば勝ちの法則”じゃなかったんだな」
「そう」
「じゃあ何?」
「規模を変えたときに、性能がどう変化するかを捉える経験則と考えた方がいい」
16.それでも世界は巨大モデルを作った
ヒロシは少し考えた。
「でも実際、LLMってどんどん巨大化したんだろ?」
「Scaling Lawsが重要だった理由の一つがそこ」
規模を拡大すると、
Lossなどの性能指標に、ある程度予測可能な改善傾向が見える。
そう分かれば、
より多くのCompute。
より多くのData。
より大きなModel。
へ投資する理由が生まれる。
ヒロシは言った。
「つまりLLMの“大規模”って、単なる名前じゃなかったんだ」
「そう」
TransformerというArchitectureがある。
大量のDataがある。
巨大なComputeがある。
そして、
Scalingすることで性能がどう変化するかという経験則
がある。
それらが組み合わさって、
LLMの大規模化が進んできた。
17.じゃあ、今も「もっと巨大に」が正解?
ヒロシが最後の質問をした。
「じゃあ今後も、ずっとParameterを増やし続ければいい?」
ヨシコは首を振った。
「そこから先が面白い」
巨大化にはコストがかかる。
Trainingにも。
Inferenceにも。
Memoryにも。
計算資源にも。
だからモデル開発では、
単純に巨大化するだけではなく、
Dataをどう使うか。
Trainingをどう効率化するか。
モデルをどう調整するか。
必要な能力をどう引き出すか。
といった問題も重要になる。
しかし、その前に。
ヒロシには一つ、
重大な勘違いが残っていた。
18.Pretrainingが終わったらChatGPTみたいになる?
ヒロシは満足そうにホワイトボードを眺めた。
Token。
Transformer。
Attention。
Loss。
Backpropagation。
Training Loop。
Scaling Laws。
「ヨシコ」
「何?」
「これでLLM完成だな」
「何をもって完成?」
「大量のDataでPretrainingしたんだろ?」
「したね」
「Next Token Predictionもできる」
「できる」
「Scalingもした」
「したことにしよう」
「じゃあChatGPTみたいに、
“この文章を要約してください”
って言えば、ちゃんと答えてくれるんだよな?」
ヨシコは少し笑った。
「そうとは限らない」
「……え?」
「だって、そのモデルがTrainingで学んだ基本目的は何だった?」
ヒロシは答えた。
「次のTokenを予測すること」
「そう」
「……あ」
ヒロシは気づいた。
大量の文章を学習した。
世界について多くのパターンを獲得した。
文章も生成できる。
しかし、
人間の指示に従って、役に立つ回答を返すようTrainingしたとはまだ限らない。
「じゃあ……」
「Pretrainingの後にも、まだ続きがある」
ヨシコがホワイトボードに書いた。
Post-training
ヒロシは天井を見た。
「まだTrainingするの!?」
今日わかったこと
LLMのScalingを考えるときは、Parameter数だけではなく、DataとComputeも重要になる。
N = Parameters、D = Training Data、C = Computeとして考えると、三者の関係を整理しやすい。
Scaling Lawsは、Model・Data・Computeなどの規模を拡大したとき、Lossなどの性能指標がどう変化するかについて観測された経験則。
「10倍大きくすれば10倍賢くなる」という単純な比例関係ではない。
Compute Budgetが有限なら、ParameterとDataを無制限に増やすことはできない。
どこへComputeを配分するかが重要になる。Chinchillaは、Parameter数だけでなくTraining Dataとのバランスが重要であることを示した代表的な研究。
Compute-optimalという考え方につながる。Parameter数だけを見てモデル性能を判断することはできない。
Data、Training、Architecture、Post-training、評価Taskなど、ほかの要因も関係する。Pretraining Lossの改善は重要だが、それだけでモデルの能力すべてを評価することはできない。
ヒロシのAI理解度
★★★★☆
第35話。
ヒロシは、
「LLMはなぜLargeになったのか」
を少し説明できるようになった。
Parameter。
Data。
Compute。
この三つをScalingすることで、
Pretrainingの性能には一定の改善傾向が観測される。
それが、
Scaling Laws。
しかし、
大きければ無条件に良いわけではない。
Parameterだけでもない。
Dataだけでもない。
Computeだけでもない。
限られたComputeの中で、
どれくらいのModelを、どれくらいのDataでTrainingするのか。
そこには設計判断がある。
第32話から振り返れば、
第32話:何を間違いとするのか
↓
第33話:間違いからParameterをどう直すのか
↓
第34話:Parameter UpdateをどうTrainingとして回すのか
↓
第35話:そのTrainingをどこまでScalingするのか
ついに、
LLMのPretrainingが、
一つの巨大なシステムとして見え始めた。
しかし。
Pretrainingが終わったモデルに、
ヒロシは一つ言いたいことがある。
「これでChatGPTみたいに、人間の指示にちゃんと答えてくれるんだよな?」
ヨシコが答えた。
「……まだ」
「え?」
「Pretrainingしただけだから」
ヒロシは固まった。
「まだ何かあるの?」
ヨシコがホワイトボードに書いた。
Post-training
次回予告
第36話:「Pretrainingしたのに、まだ使えないの!?」Base ModelとPost-trainingで知るLLMの“仕上げ方”
大量のData。
大量のParameter。
大量のCompute。
Next Token Predictionを繰り返し、
巨大なBase ModelをTrainingした。
ヒロシは思った。
「完成!」
しかし、
それだけで現在のChat型AIのように、
「要約して」
「表にして」
「初心者向けに説明して」
といった人間の指示へ、期待どおり応答するモデルになるとは限らない。
そこで次に登場するのが、
Post-training(事後学習)
である。
PretrainingとPost-trainingは何が違うのか。
Base Modelとは何なのか。
そして、
SFT(Supervised Fine-Tuning)
は何を変えるのか。
次回からヒロシは、
「次Tokenを予測するLLM」を、「人間の指示により適切に応答するLLM」へ近づけていく世界
へ進む。
これでなんとか明日も、
「Parameter数が一番多いAIが、一番賢いんですよね?」
と言わずに生き残っていけそうだ!
📚 CognitiveAIヒロシを続けて読む
⬅️ 前回:第34話
「1回学習したら終わりじゃないの!?」Batch・Step・Epochで知るLLMのTraining Loop
https://note.com/fine_lotus9013/n/na7e20ee0ce5b
📖 第1話から読む
42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
➡️ 次回:第36話
「Pretrainingしたのに、まだ使えないの!?」Base ModelとPost-trainingで知るLLMの“仕上げ方”
→【第36話のURL/公開後に設定】
#生成AI #AI #LLM #大規模言語モデル #ScalingLaws #スケール則 #Parameter #TrainingData #Compute #Chinchilla #ComputeOptimal #Pretraining #Transformer #Training #DeepLearning #機械学習 #AI学習 #生成AI学習 #AI初心者 #DX #CognitiveAIヒロシ