メインコンテンツへスキップ
見出し画像

【第4章:LLMの正体編】第33話:「何十億個のParameter、どこを直すの!?」Gradient・Backpropagationで知るAIの“反省方法”

    はじめて読む方へ

    こんにちは。CognitiveAIヒロシです。

    このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、

    「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。

    前回、第32話。

    ヒロシはついに、

    LLMがどうやって学習を始めるのか

    を知った。

    大量のTraining Dataを用意する。

    Tokenizationする。

    次のTokenを予測させる。

    本当の次Tokenと比べる。

    Cross-Entropyを計算する。

    そして、

    Loss

    を出す。

    つまり、

    「どのくらい予測を間違えたか」

    を数字にできるようになった。

    ヒロシは満足していた。

    ……はずだった。

    しかし翌朝。

    コーヒーを飲んでいたヒロシは、突然ヨシコに聞いた。

    「ヨシコ」

    「何?」

    「昨日の話、おかしくない?」

    「どこが?」

    「Lossが分かっただけじゃ、AIは賢くならないだろ?」

    ヨシコが笑った。

    「やっと気づいた?」


    1.健康診断を受けただけでは健康にならない

    ヒロシは昨日のホワイトボードを見た。

    Training Data

    ↓

    Next Token Prediction

    ↓

    正解Tokenと比較

    ↓

    Cross-Entropy

    ↓

    Loss

    例えば、

    正解Tokenが、

    猫

    なのに、

    モデルが「猫」にほとんど確率を与えなかった。

    するとLossが大きくなる。

    「ここまでは分かった」

    「うん」

    「でもLossが大きいって分かっただけだよな?」

    「その通り」

    「健康診断で“数値が悪いですね”って言われただけじゃん」

    「いい例えだね」

    健康診断で、

    血糖値が高い。

    血圧が高い。

    コレステロール値が高い。

    と分かっても、

    測っただけでは身体は変わらない。

    LLMも同じだ。

    Lossを計算しただけでは、

    Parameterは1個も変わっていない。

    では、どうするのか。


    2.何十億個のParameter、どれが犯人?

    ヒロシが言った。

    「ここが一番分からない」

    「何が?」

    「LLMにはParameterが大量にあるんだろ?」

    「ある」

    第28話で学んだQ・K・Vを作るための重み。

    第30話で学んだFeed Forward Networkの重み。

    Embedding。

    Output Projection。

    ほかにも大量の学習可能なParameterがある。

    「Lossが大きかったとする」

    「うん」

    「どのParameterが悪かったの?」

    ヨシコは答えた。

    「一つのParameterだけを“犯人”として探すわけじゃない」

    「え?」

    「モデルの出力は、大量の計算が積み重なった結果だから」

    入力されたTokenは、

    Embeddingになり、

    Transformer Blockを通り、

    Attentionを通り、

    Feed Forwardを通り、

    何層もの計算を経て、

    最後にLogitsになる。

    そして、

    次Tokenの予測が生まれる。

    つまりLossは、

    大量のParameterが関わった計算の最終結果

    なのだ。

    「じゃあ全員容疑者?」

    「その表現もブログの中だけにして」


    3.知りたいのは「少し動かしたらLossはどうなる?」

    ヨシコがホワイトボードに一つだけParameterを書いた。

    w

    「これを、あるWeightだと思って」

    「うん」

    「今の値が1.20だったとする」

    「うん」

    「これをほんの少し増やしたら、Lossはどうなると思う?」

    ヒロシは考えた。

    「下がるかもしれない」

    「逆に?」

    「上がるかもしれない」

    「どのくらい?」

    「それは分からない」

    「それを知りたい」

    つまり知りたいのは、

    Parameterを少し変えたとき、Lossがどちらに、どのくらい変化するのか。

    ここで登場するのが、

    Gradient(勾配)

    だ。


    4.Gradientは「こっちに行くとLossが増える」の案内板

    「勾配……坂道?」

    「そのイメージは使える」

    山の斜面を想像してみよう。

    高さが、

    Loss

    だとする。

    高い場所ほどLossが大きい。

    低い場所ほどLossが小さい。

    そして自分が立っている位置が、

    現在のParameter

    だ。

    目的は、

    Lossが低い場所へ移動すること。

    ヒロシが言った。

    「下山すればいい」

    「簡単に言えばね」

    Gradientは、その地点で、

    Parameterをどちらへ動かすとLossが増えるのか、そしてどれくらい敏感に変わるのか

    を表す。

    数学的には、

    LossをParameterで微分したもの

    だ。

    例えば、

    ∂L / ∂w

    と書く。

    「出た、微分」

    「逃げない」


    5.微分を、文系ヒロシ語に翻訳する

    ヒロシは数学が嫌いである。

    ヨシコは言った。

    「数式じゃなく質問に変えて」

    ∂L / ∂w

    は、

    「wをほんの少し変えたら、Lossはどれくらい変わる?」

    と考えればいい。

    例えばGradientが正なら、

    wを増やす方向でLossが増える局面なら、

    wを反対方向へ動かす

    ことでLossを下げられる可能性がある。

    逆にGradientが負なら、

    その局面では反対側へ動かす。

    「Gradientが“Lossが増える方向”を教えてくれる?」

    「基本的にはそう」

    「だったら反対に行けばいい」

    「それがGradient Descentの基本発想」

    ヒロシは急に元気になった。

    「勾配降下法!」

    「漢字にすると強そうでしょ」


    6.Parameterが1個なら簡単。でも……

    ここまでなら簡単だ。

    Parameterがw一個しかなければ、

    Lossが小さくなる方向を探して、

    wを少し動かせばいい。

    でもLLMは違う。

    Parameterが、

    w₁
    w₂
    w₃
    w₄
    ……

    と大量に存在する。

    「……何十億個とか?」

    「モデルによるけど、とにかく非常に多い」

    すると必要なのは、

    一個のGradientではない。

    それぞれのParameterについて、Lossがどう変化するか

    を知る必要がある。

    つまり、

    ∂L/∂w₁

    ∂L/∂w₂

    ∂L/∂w₃

    ……

    大量のGradientが必要になる。

    ヒロシは固まった。

    「それ全部計算するの?」

    「する」

    「一個ずつ?」

    「一個ずつ別々に最初から計算したら大変だよね」

    「じゃあどうする?」

    ヨシコが書いた。

    Backpropagation

    「出た……」


    7.Backpropagationは「Lossから逆向きにたどる」

    LLMが予測するとき、

    計算は前へ進む。

    Token

    ↓

    Embedding

    ↓

    Transformer

    ↓

    Hidden State

    ↓

    Logits

    ↓

    予測

    ↓

    Loss

    これを、

    Forward Pass

    と考えよう。

    「前向きに計算するからForward?」

    「そう」

    ではBackpropagationでは、

    逆向きにたどる。

    Loss

    ↓

    出力側の計算

    ↓

    Transformerの後ろの層

    ↓

    その前の層

    ↓

    ……

    ↓

    各Parameter

    「逆走するの?」

    「計算を逆方向にたどってGradientを求める」

    これが、

    Backpropagation(誤差逆伝播)

    の基本的な考え方だ。


    8.なぜ逆向きにたどれるの?

    ヒロシが聞いた。

    「でもLossから逆に戻ったら、本当にどのParameterが影響したか分かるの?」

    「そこで数学が働く」

    「嫌な予感」

    「Chain Rule」

    「チェーン……?」

    Chain Rule(連鎖律)

    である。

    例えば、

    Parameter w

    ↓

    途中の計算A

    ↓

    途中の計算B

    ↓

    Loss

    という計算があったとする。

    知りたいのは、

    wを少し変えたらLossがどれだけ変わるか。

    しかしwは直接Lossにつながっていない。

    そこで、

    「Bが変わるとLossがどれだけ変わる?」

    「Aが変わるとBがどれだけ変わる?」

    「wが変わるとAがどれだけ変わる?」

    という局所的な変化を、

    後ろから順番につないでいく。

    それによって、

    wが最終的なLossにどの程度影響するか

    を計算できる。

    ヒロシがしばらく考えた。

    「会社の売上悪化を逆にたどる感じ?」

    「どういうこと?」

    「売上が落ちた」

    ↓

    「受注率が落ちた」

    ↓

    「提案数が落ちた」

    ↓

    「商談数が落ちた」

    ↓

    「新規アポが減った」

    「それぞれが次にどれだけ影響しているかを逆向きにたどる?」

    「数学的には全然同じではないけど、直感として“結果から依存関係を逆向きにたどる”なら悪くない」

    「営業企画歴20年以上をなめるな」


    9.BackpropagationがParameterを直す……ではない

    ヒロシが得意げに言った。

    「分かった。BackpropagationでParameterを更新する!」

    「そこ、違う」

    「え?」

    ここは非常に重要だ。

    Backpropagationの役割は、Parameterを直接更新することではない。

    Backpropagationが計算するのは、

    各Parameterに対するGradient。

    つまり、

    Lossを小さくするには、それぞれのParameterをどちらへ動かすべきかを判断するための情報

    だ。

    「じゃあ実際にParameterを変えるのは誰?」

    ヨシコが書いた。

    Optimizer


    10.GradientとOptimizerは別物

    例えば現在のParameterが、

    w = 1.20

    だったとする。

    Backpropagationによって、

    Gradientが計算された。

    そのGradientを使って、

    実際にParameterを更新する。

    その役割を担うのが、

    Optimizer(最適化アルゴリズム)

    だ。

    最も基本的なイメージなら、

    新しいParameter
    = 今のParameter − Learning Rate × Gradient

    と考えられる。

    ヒロシが式を見た。

    「また数式」

    「でも読めるでしょ?」

    「Gradientの反対方向へ少し動かす?」

    「そう」

    そこで重要になるのが、

    Learning Rate(学習率)

    だ。


    11.Learning Rateは「一歩の大きさ」

    再び山を下りるヒロシを想像する。

    Gradientによって、

    「こっちへ下ればいい」

    と分かった。

    でも、

    一歩が大きすぎたら?

    「谷を飛び越える」

    「そう」

    一歩が小さすぎたら?

    「いつまでたっても着かない」

    「そう」

    この、

    Parameterをどの程度更新するか

    に関係する重要な設定がLearning Rateだ。

    大きすぎれば、

    学習が不安定になることがある。

    小さすぎれば、

    学習がなかなか進まないことがある。

    「方向だけじゃダメなのか」

    「どれくらい進むかも重要」


    12.Optimizerは単純なGradient Descentだけではない

    ヒロシが言った。

    「じゃあ全部、

    Parameter − Learning Rate × Gradient

    でいいじゃん」

    「基本原理を理解するにはそれでいい。でも実際にはもっと工夫されたOptimizerが使われる」

    代表的な名前として、

    SGD

    Adam

    AdamW

    などがある。

    これらはGradientを使いながら、

    Parameterをどう更新していくかを工夫する方法だ。

    ただし今日は、

    Adamの数式まで追わない。

    重要なのは、

    BackpropagationとOptimizerは別の仕事をしている

    ということ。

    Backpropagation:

    Gradientを計算する。

    Optimizer:

    Gradientなどを使ってParameterを更新する。

    ヒロシはノートに大きく書いた。

    Backpropagation ≠ Parameter Update


    13.これで「学習」の1サイクルがつながった

    ヨシコが言った。

    「じゃあ、第32話と今日の話をつないでみて」

    ヒロシはホワイトボードに書いた。

    ① Training Dataを入力

    ↓

    ② Forward Pass

    Transformerが次Tokenを予測

    ↓

    ③ Lossを計算

    予測と正解TokenをCross-Entropyで比較

    ↓

    ④ Backpropagation

    Lossから逆向きに計算し、各ParameterのGradientを求める

    ↓

    ⑤ Optimizer

    Gradientなどを使ってParameterを更新

    ↓

    ⑥ 次のTraining Dataでまた予測

    ↓

    ⑦ またLossを計算

    ↓

    ⑧ またGradientを計算

    ↓

    ⑨ またParameterを更新

    ↓

    Repeat

    ヒロシは止まった。

    「……これか」

    「何が?」

    「AIが“学ぶ”って」

    ヨシコがうなずいた。


    14.AIは「反省」しているわけではない

    ヒロシが言った。

    「つまりAIも、間違えて反省して成長するんだな」

    「その言い方には注意」

    「ブログタイトルに“反省方法”って書いてあるぞ」

    「だからカギ括弧付きの比喩としてね」

    LLMが、

    「ああ、猫を外してしまった。次は頑張ろう」

    と思っているわけではない。

    Trainingで起きているのは、

    数学的な最適化

    だ。

    予測する。

    Lossを計算する。

    Gradientを求める。

    Parameterを更新する。

    それを大量のTraining Dataについて繰り返す。

    人間のように後悔したり、

    反省文を書いたり、

    意思を持って努力したりしているわけではない。

    ヒロシは言った。

    「じゃあ“反省”じゃなくて……」

    少し考えた。

    「誤差を数字にして、自分のParameterを少しずつ調整する」

    「それならかなり正確」


    15.第28話からの伏線が、またつながった

    ヒロシは突然思い出した。

    「待って」

    「何?」

    「Q・K・Vって、“学習されたProjection”だったよな?」

    「そう」

    第28話。

    Tokenの内部表現から、

    Qを作る。

    Kを作る。

    Vを作る。

    そこには、

    学習されたWeight

    が使われていた。

    当時ヒロシは、

    「学習されたって、誰が学習したんだ?」

    とは深く考えなかった。

    でも今なら分かる。

    Training Dataを入れる。

    次Tokenを予測する。

    Lossを計算する。

    BackpropagationでGradientを求める。

    OptimizerでParameterを更新する。

    その繰り返しによって、

    Attentionを含むモデル内部の学習可能なParameterが調整されていく。

    Feed Forwardも。

    Embeddingも。

    Output Projectionも。

    「第28話で“学習されたWeight”って言ってた意味が、今やっと分かった」

    「そういうこと」

    ヒロシは笑った。

    「このブログ、伏線回収が遅いな」

    「LLMの勉強だからね」


    16.でも、Parameterを増やせばもっと賢くなるんじゃない?

    ヒロシはホワイトボードを眺めた。

    Parameterが学習される仕組みは分かった。

    すると、新しい疑問が出てきた。

    「ヨシコ」

    「何?」

    「だったらさ」

    嫌な予感がする。

    「Parameterを増やしまくればいいんじゃない?」

    「来たね」

    「10億より100億。100億より1000億」

    「それだけ?」

    「Training Dataも増やす」

    「ほかには?」

    「……GPU?」

    ヨシコが笑った。

    「次はそこを考えよう」

    モデルの性能を考えるとき、

    重要なのはParameter数だけではない。

    Model Size。

    Training Data。

    Compute。

    これらは互いに関係している。

    そして、

    「大きければ大きいほどいい」

    というほど単純ではない。

    ホワイトボードに新しい言葉が書かれた。

    Scaling Laws

    ヒロシはため息をついた。

    「山を下りたら、もっと大きい山が出てきた」


    今日わかったこと

    1. Lossを計算しただけではParameterは変わらない。
      Lossは学習のための「どれだけ間違っているか」を表す指標であり、そこからParameterを更新する必要がある。

    2. Gradientは、Parameterを少し変えたときLossがどう変化するかを表す。
      LossをParameterで微分したものとして考えられる。

    3. Gradient Descentの基本発想は、Lossが小さくなる方向へParameterを動かすこと。

    4. Backpropagationは、Lossから計算を逆向きにたどり、各Parameterに対するGradientを効率的に計算する。

    5. BackpropagationそのものがParameterを更新するわけではない。
      ここは非常に重要。

    6. Optimizerは、Gradientなどの情報を使ってParameterを実際に更新する。
      SGD、Adam、AdamWなどが代表例。

    7. Learning Rateは、Parameterを更新するときの「一歩の大きさ」に関係する。
      大きすぎても、小さすぎても学習に問題が起こり得る。

    8. LLMのTrainingは、Forward Pass → Loss → Backpropagation → OptimizerによるParameter Updateを繰り返す大規模な最適化である。


    ヒロシのAI理解度

    ★★★★☆

    第33話。

    ヒロシはついに、

    「AIが学ぶ」

    という言葉の中身を、一段深く説明できるようになった。

    AIが文章を読んで、

    意味を理解して、

    間違いを反省して、

    少しずつ賢くなる。

    そんな人間的な説明ではない。

    より正確には、

    Forward Pass

    ↓

    Prediction

    ↓

    Loss

    ↓

    Backpropagation

    ↓

    Gradient

    ↓

    Optimizer

    ↓

    Parameter Update

    ↓

    Repeat

    という、

    巨大な数学的最適化の繰り返しだ。

    そして第28話から何度も登場した、

    「学習されたWeight」

    という言葉の意味も、ようやくつながった。

    ただし。

    ヒロシには新しい疑問が生まれている。

    「だったらParameterもDataもComputeも、全部増やせば最強なんじゃない?」

    そんなに単純なら、

    世界中のAI研究者は苦労していない。


    次回予告

    第34話:「大きければ大きいほど賢いの!?」Parameter・Data・Computeで知るLLMのScaling Laws

    Parameterをどう学習するのかは分かった。

    では、

    モデルをもっと大きくしたらどうなる?

    Parameterを10倍にする。

    Training Dataも10倍にする。

    GPUも増やす。

    そうすればLLMは、

    そのまま10倍賢くなるのか?

    次回は、

    Model Size(Parameter)

    Data

    Compute

    そして、

    Scaling Laws

    の関係へ進む。

    「巨大モデルを作れば勝ち」

    と思い始めたヒロシに、

    新しい現実が待っている。

    これでなんとか明日も、

    「BackpropagationがWeightをいい感じに直してくれるんですよね?」

    と言わずに生き残っていけそうだ!


    📚 CognitiveAIヒロシを続けて読む

    ⬅️ 前回:第32話
    「AIは何を間違えたら怒られるの?」PretrainingとLossで知るLLMの“学び方”

    https://note.com/fine_lotus9013/n/n99f99a3e69c4

    📖 第1話から読む
    42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。

    https://note.com/fine_lotus9013/n/n0fffb9b7b85a

    ➡️ 次回:第34話
    「大きければ大きいほど賢いの!?」Parameter・Data・Computeで知るLLMのScaling Laws

    →【第34話のURL/公開後に設定】

     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ