メインコンテンツへスキップ
見出し画像

【第4章:LLMの正体編】第32話:「AIは何を間違えたら怒られるの?」PretrainingとLossで知るLLMの“学び方”

    はじめて読む方へ

    こんにちは。CognitiveAIヒロシです。

    このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、

    「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。

    前回、第31話。

    ヒロシはついに、

    LLMが次のTokenを生成するまで

    を一本につなげた。

    Text
    ↓
    Token
    ↓
    Token ID
    ↓
    Embedding
    ↓
    Transformer
    ↓
    Hidden State
    ↓
    Logits
    ↓
    次Token候補の確率分布
    ↓
    Decoding
    ↓
    次のToken

    そして選んだTokenを文脈に加え、

    また次のTokenを予測する。

    「つながった……」

    第24話から8話。

    ようやくLLMという機械の動きが見えてきた。

    ところが、その日の夕食。

    ヒロシは味噌汁を飲みながら、あることに気づいた。

    「ヨシコ」

    「何?」

    「Transformerの中って、ものすごい数のParameterがあるんだよな?」

    「あるね」

    「Q、K、Vを作る重みも?」

    「Parameter」

    「Feed Forwardの重みも?」

    「Parameter」

    「Embeddingも?」

    「学習されるParameterを持つ」

    「最後にLogitsを出すところも?」

    「そこにも重みがある」

    ヒロシは箸を置いた。

    「……誰が決めたの?」

    「何を?」

    「その数字全部」

    ヨシコがニヤリとした。

    「やっとそこに来たか」


    1.LLMの中には、とんでもない数の「調整可能な数字」がある

    ヒロシが第24話から学んできたLLM。

    その内部には大量の数値がある。

    例えばTransformerの中では、

    入力ベクトルからQ・K・Vを作る。

    Feed Forward Networkでベクトルを変換する。

    最後にはHidden StateからVocabulary上のLogitsを計算する。

    そのために、

    大量のWeight(重み)などのParameter

    が使われている。

    ヒロシが聞いた。

    「Parameterって、“設定値”みたいなもの?」

    「大まかなイメージは近いけど、人間が一個ずつ設定するものじゃない」

    「じゃあ最初から正しい数字が入ってる?」

    「入ってない」

    「え?」

    「学習前のモデルは、まだ使えるLLMになってない」

    ヒロシは混乱した。

    「じゃあ、どうやってあの大量の数字を決めるんだ?」

    ヨシコがホワイトボードに書いた。

    Training

    そして、その下に書いた。

    Pretraining(事前学習)


    2.Pretrainingって、何を“事前”に学ぶの?

    「事前学習って、ChatGPTになる前の予習?」

    「かなり雑だけど、入口としては悪くない」

    LLMを作る大きな工程の一つが、

    Pretraining(事前学習)

    だ。

    事前学習では、大規模なテキストデータを使ってモデルを訓練する。

    講義資料では、事前学習の流れを大きく、

    データの収集
    → データの前処理
    → 訓練
    → 評価

    と整理している。

    事前学習データには、一般的にWebから集められた大量のデータをはじめ、

    コード、百科事典、論文、一般的なWebサイトなど、

    さまざまなテキストが使われる。

    ヒロシの目が輝いた。

    「なるほど!じゃあインターネットを全部読ませる!」

    「待って」

    「違うの?」

    「集めたデータを、そのまま全部突っ込めばいいわけじゃない」


    3.大量に集めれば勝ち、ではない

    学習データを集めたら、

    前処理

    が必要になる。

    講義資料では、典型的な前処理として、

    Quality Filtering
    質の低いデータを取り除く。

    De-dup
    重複データを取り除く。

    Privacy Reduction
    個人を特定できる情報などを取り除く。

    Tokenization
    テキストをモデルが扱えるToken列へ変換する。

    といった処理が紹介されている。

    ヒロシが言った。

    「Tokenization!」

    「覚えてた?」

    「第25話をなめるな」

    「じゃあ、RAGのChunkingと同じ?」

    「……」

    ヒロシは止まった。

    最近、似た言葉には慎重になっている。

    「違う気がする」

    「正解」

    ここでやっているのは、

    LLMを学習するためのデータを準備する処理。

    RAGで検索単位を作るChunkingとは、目的が違う。

    同じAIシステムの世界に登場する技術でも、

    どこで、何のために使っているのか

    を区別しなければならない。

    ヒロシは小さくうなずいた。

    「俺、ちょっと成長してるな」


    4.で、LLMに何を勉強させるの?

    大量のテキストを準備した。

    Tokenizationもした。

    ヒロシが聞いた。

    「ここから何を教える?」

    ヨシコが書いた。

    Next Token Prediction

    「……それ、知ってる」

    第24話から何度も出てきた。

    LLMは、

    それまでのTokenをもとに、次のTokenを予測する。

    第31話では、その予測から文章が生成されるところまで学んだ。

    「でも、あれはLLMを使うときの話だろ?」

    「そう。そして、学習するときにも重要なんだよ」

    講義資料では事前学習を、

    学習用のテキストデータを使って、次のTokenの生成確率をひたすら予測する自己教師あり学習

    として説明している。

    「ひたすら?」

    「ひたすら」


    5.『吾輩は猫である』で何を学習する?

    ヨシコが例を書いた。

    吾輩 は 猫 で ある 。

    これを学習データとして使うとする。

    モデルに、

    吾輩

    まで見せる。

    そして聞く。

    「次は何?」

    モデルが予測する。

    次に、

    吾輩 は

    まで見せる。

    「次は?」

    また予測する。

    さらに、

    吾輩 は 猫

    「次は?」

    これを繰り返す。

    学習データそのものに、

    次に来るTokenが書かれている。

    だから、

    入力:

    吾輩

    正解:

    は

    入力:

    吾輩 は

    正解:

    猫

    入力:

    吾輩 は 猫

    正解:

    で

    という学習例を作ることができる。

    これは講義資料でも、まさに「吾輩は猫である」を例に説明されている。

    ヒロシが言った。

    「待って。誰かが“正解は猫です”ってラベルを付けなくても……」

    「文章そのものに次のTokenがある」

    「つまり、問題集と解答集が同じ文章の中にある?」

    「いい表現だね」


    6.だから「自己教師あり学習」なのか

    ここが重要だ。

    画像分類なら、

    この画像は「猫」。

    この画像は「犬」。

    というように、人間がラベルを付けたデータを用意する場合がある。

    ところがNext Token Predictionでは、

    元の文章そのものから、

    入力と正解の組を作れる。

    「吾輩」の次に実際にあるTokenが「は」。

    「吾輩 は」の次に実際にあるTokenが「猫」。

    だから人間が一つ一つ、

    正解:猫

    とラベル付けしなくても学習できる。

    これが、

    Self-Supervised Learning(自己教師あり学習)

    と呼ばれる理由の一つだ。

    ヒロシがうなずいた。

    「大量の文章を使える理由が少しわかった」

    「そう。大規模なテキストから学習用の信号を作れる」

    「でもさ」

    「何?」

    「モデルが最初から“猫”って当てられるの?」

    「もちろん最初からうまくはいかない」


    7.新人AIヒロシ、初日に盛大に間違える

    ヨシコが架空の例を書いた。

    入力:

    吾輩 は

    正解:

    猫

    ところが学習途中のモデルが出した次Tokenの分布が、

    犬 40%
    人 25%
    猫 10%
    会社 8%
    その他 17%

    だったとする。

    ヒロシが言った。

    「正解の猫が10%……」

    「うん」

    「ダメじゃん」

    「だから学習するの」

    では、

    犬 40%
    猫 10%

    という予測が、

    どのくらい間違っているのか?

    モデルを改善するには、

    「惜しい!」

    「全然ダメ!」

    と人間が毎回答えるわけにはいかない。

    必要なのは、

    間違いの大きさを数字にすること。

    そこで登場するのが、

    Loss(損失)

    だ。


    8.Lossは「AIへのお説教ポイント」?

    「Loss……損失?」

    「モデルの予測が正解からどの程度ずれているかを、学習の目的に合わせて数値化したもの、と考えるといい」

    「AIの通知表?」

    「近いけど、通知表より学習に直接使う」

    「じゃあ、“お説教ポイント”」

    「それはブログの中だけにして」

    ヒロシはノートに書いた。

    Loss = モデルの予測を改善するために使う誤差の指標

    一般に、

    Lossが大きい

    → 予測が望ましい状態から遠い。

    Lossが小さい

    → 予測が望ましい状態に近い。

    事前学習では、

    このLossを小さくする方向へモデルを学習させる。


    9.でも「猫10%」を、どうやって怒る?

    ヒロシが聞いた。

    「正解が猫なら、“猫じゃなかったら1点減点”じゃダメなの?」

    「それだと予測の確信度をうまく扱えない」

    例えば正解Tokenが「猫」だったとして、

    モデルA:

    猫 49%
    犬 48%

    モデルB:

    猫 1%
    犬 98%

    どちらも最終的に「犬」を選んだとしよう。

    しかし、

    間違い方は同じだろうか?

    ヒロシは考えた。

    「Aはかなり猫も疑ってる。でもBはほぼ完全に犬だと思ってる」

    「そう」

    そこで、次Token予測で代表的に使われるのが、

    Cross-Entropy(交差エントロピー)

    だ。

    講義資料でも、事前学習では予測と正解のCross-Entropyが小さくなるように学習し、これを目的関数として最小化すると説明されている。


    10.Cross-Entropy、数式なしで理解してみる

    ヒロシは身構えた。

    「エントロピーって絶対数式出るやつだろ」

    「今日は意味を理解する」

    「助かった」

    Next Token Predictionでは、

    正解Tokenにモデルがどれくらい高い確率を与えたか

    を見る。

    正解が「猫」なのに、

    猫 90%

    なら、

    かなり良い。

    猫 30%

    なら、

    まだ弱い。

    猫 1%

    なら、

    かなり悪い。

    Cross-Entropyは、こうした違いを数値として評価できる。

    厳密には、正解Tokenを \(y\)、モデルがそのTokenに割り当てた確率を \(p(y)\) とすると、一つの正解Tokenに対する損失は基本的に、

    −log p(y)

    という形で表せる。

    ヒロシが固まった。

    「数式出さないって言ったじゃん」

    「一本だけ」

    例えば正解Tokenの確率が高くなれば、

    Lossは小さくなる。

    逆に、正解Tokenの確率が低ければ、

    Lossは大きくなる。

    「つまりAIに、“正解のTokenにもっと高い確率を出せ”って教えてる?」

    「まずはその理解でいい」


    11.ここで第31話と完全につながった

    ヒロシは突然気づいた。

    「待って」

    「何?」

    「昨日やったLogitsとSoftmax……」

    「うん」

    第31話では、

    Transformer
    ↓
    Hidden State
    ↓
    Output Projection
    ↓
    Logits
    ↓
    Softmax
    ↓
    次Token候補の分布

    と学んだ。

    あのときは、

    その分布から、どのTokenを生成するか

    を考えた。

    しかしTrainingでは、

    その分布を使って、

    正解Tokenにどのくらいの確率を与えられたか

    を評価する。

    つまり同じNext Token Predictionでも、

    Inference(推論・生成)

    では、

    「次にどのTokenを出す?」

    を見る。

    一方、

    Training(学習)

    では、

    「実際の次Tokenを、どのくらいうまく予測できた?」

    を見る。

    ヒロシが言った。

    「同じ仕組みを、見る方向が違うのか」

    「そう考えるとわかりやすい」


    12.じゃあ、正解Tokenだけ覚えればいい?

    ヒロシは少し不安になった。

    「でもこれって、文章の丸暗記じゃないの?」

    「そこは重要な疑問」

    事前学習は、一つの文章だけを何度も暗記させる話ではない。

    大量のテキストを使いながら、

    さまざまな文脈で、

    次Tokenを予測する。

    その学習を通して、モデルのParameterが調整されていく。

    結果としてモデルは、

    語彙や文法だけでなく、

    テキスト中に現れるさまざまなパターンや関連性を捉えられるようになっていく。

    ただし、

    「人間と同じ意味理解を獲得した」

    と短絡してはいけない。

    また、学習データの一部を記憶する現象と、より一般的なパターンを学習することも、単純に同じではない。

    ヒロシが言った。

    「“次Tokenを当てるだけなのに、いろいろできるようになる”ってところが面白いな」

    「そこがLLMの重要なところだね」


    13.一問ずつではなく、大量に採点する

    実際の学習では、

    「吾輩」の次は?

    「は!」

    採点。

    「吾輩 は」の次は?

    「猫!」

    採点。

    と一問ずつ人間が処理するわけではない。

    複数の学習サンプルをまとめた、

    Mini-batch(ミニバッチ)

    という単位で計算する。

    講義資料では、各サンプルについてCross-Entropyを計算し、ミニバッチ内で平均したものをLossとして扱う説明になっている。

    ヒロシが言った。

    「大量の小テストをまとめて採点する感じ?」

    「イメージとしてはいい」

    そして、このLossを見ながら、

    モデルのParameterを改善していく。


    14.でも、ここで最大の問題がある

    ヒロシはホワイトボードを見た。

    Training Data
    ↓
    Tokenization
    ↓
    Transformer
    ↓
    次Tokenの予測
    ↓
    正解Tokenと比較
    ↓
    Cross-Entropy
    ↓
    Loss

    「ヨシコ」

    「何?」

    「Lossが出たのはわかった」

    「うん」

    「例えばLossが大きかった」

    「うん」

    「それで?」

    「それで?」

    「モデルの中には大量のParameterがあるんだろ?」

    「ある」

    「どのParameterを、どっち向きに、どれだけ直せばいいの?」

    ヨシコが笑った。

    「そこが次」

    ホワイトボードに三つの言葉を書いた。

    Gradient

    Backpropagation

    Optimizer

    ヒロシは無言になった。

    「ヨシコ」

    「何?」

    「今日のCross-Entropyで終わりじゃないの?」

    「Lossを測っただけだからね」

    「健康診断で悪い数字が出ただけ?」

    「そう。まだ治療してない」

    「先は長いな……」


    今日わかったこと

    1. LLM内部の大量のParameterは、人間が一個ずつ設定するのではなくTrainingによって学習される。

    2. Pretraining(事前学習)は、大規模なテキストデータからLLMの基礎となる能力を学習させる重要な工程。

    3. 事前学習には、データ収集・前処理・訓練・評価というパイプラインがある。

    4. Next Token Predictionでは、文章そのものから入力と正解Tokenの組を作れる。
      そのため自己教師あり学習として扱える。

    5. Trainingでは、モデルが予測した次Tokenの分布と、実際の正解Tokenを比較する。

    6. Cross-Entropyは、その予測の誤差を測る代表的な方法。
      正解Tokenに高い確率を与えるほどLossは小さくなる。

    7. InferenceとTrainingでは、同じNext Token Predictionを違う目的で見る。
      Inferenceでは次Tokenを生成し、Trainingでは予測と正解のズレを使って学習する。

    8. Lossを計算しただけでは、まだモデルは賢くならない。
      次に必要なのは、そのLossを使ってParameterをどう修正するか。


    ヒロシのAI理解度

    ★★★★☆

    第32話。

    ヒロシは初めて、

    「LLMはどう動くのか」

    から、

    「LLMはどう学ぶのか」

    へ踏み込んだ。

    第31話までは、

    学習済みのLLMへ文章を入れたら、

    どうやって次Tokenが出てくるのかを追いかけてきた。

    今度は逆だ。

    大量の文章を与える。

    次Tokenを予測させる。

    本当の次Tokenと比べる。

    間違いをLossとして測る。

    そして、

    そのLossを小さくしていく。

    これがTrainingの入口だった。

    しかし、まだ最大の謎が残っている。

    Lossが10だと分かったところで、どうやって何十億、何百億というParameterの「どこを直すべきか」が分かるのか?

    ヒロシはまだ知らない。

    その答えが、

    GradientとBackpropagation

    であることを。


    次回予告

    第33話:「何十億個のParameter、どこを直すの!?」Gradient・Backpropagationで知るAIの“反省方法”

    Lossはわかった。

    AIがどれだけ間違えたかも数字になった。

    でもヒロシには、もっと大きな疑問がある。

    「で、どこを直すんだ?」

    Transformerには大量のParameterがある。

    Lossを小さくするために、

    どのParameterを、

    どちらの方向へ、

    どのくらい変えるべきなのか。

    そこで登場するのが、

    Gradient(勾配)

    そして、

    Backpropagation(誤差逆伝播)

    さらに、そのGradientを使って実際にParameterを更新する、

    Optimizer

    である。

    次回、

    ヒロシはついに、

    「AIが間違いからどう学ぶのか」

    の核心へ入る。

    これでなんとか明日も、

    「AIは大量の文章を読んで、自然に賢くなるんですよね?」

    と言わずに生き残っていけそうだ!


    📚 CognitiveAIヒロシを続けて読む

    ⬅️ 前回:第31話
    「最後は確率で決めるの!?」LLMが“次のToken”を選ぶまで

    https://note.com/fine_lotus9013/n/ncacb382e5803

    📖 第1話から読む
    42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。

    https://note.com/fine_lotus9013/n/n0fffb9b7b85a

    ➡️ 次回:第33話
    「何十億個のParameter、どこを直すの!?」Gradient・Backpropagationで知るAIの“反省方法”

    →【第33話のURL/公開後に設定】

     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ