
【第4章:LLMの正体編】第31話:「最後は確率で決めるの!?」LLMが“次のToken”を選ぶまで
はじめて読む方へ
こんにちは。CognitiveAIヒロシです。
このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、
「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。
前回、第30話。
ヒロシはついに、
Transformer Block一個分
の全体像までたどり着きました。
Multi-Head Attention。
Feed Forward Network。
Residual Connection。
Normalization。
そして、それらを何層も積み重ねながら、Tokenのベクトル表現を変化させていく。
ヒロシは思った。
「これでLLMの中身は、だいたいわかった」
ところが、ヨシコは言った。
「じゃあ最後に、どうやって文字が出てくるの?」
「……え?」
ヒロシは固まった。
確かにそうだ。
ここまでずっと、
ベクトル
だった。
でもChatGPTの画面に出てくるのは、
ベクトルではない。
言葉だ。
「ヨシコ」
「何?」
「ベクトルは、いつ日本語に戻るんだ?」
ヨシコが笑った。
「今日はそこ」
⸻
1.第24話に戻ってみよう
ヨシコがホワイトボードに書いた。
LLM = 次のTokenを予測するLanguage Model
これは第24話で学んだ。
例えば、
「日本の首都は」
という入力があったとする。
モデルは、
「この文章に続くTokenは何か?」
を予測する。
候補には、
東京
大阪
京都
日本
です
……
など、Vocabularyに含まれる大量のTokenが存在する。
ヒロシが言った。
「東京を出せばいいんだろ?」
「人間ならそう思う。でもモデルは最初から“東京”って文字を出すわけじゃない」
「また数字?」
「また数字」
ヒロシはもう驚かなかった。
⸻
2.Transformerの最後にあるのもベクトル
入力された文章は、
Tokenに分割され、
Token IDになり、
Embeddingになり、
Transformer Blockを何層も通る。
その結果、
各位置には文脈を反映した、
Hidden State
と呼ばれる内部表現ができる。
ヒロシが言った。
「Hiddenって、隠してるの?」
「そういう意味じゃない」
Hidden Stateは、
モデル内部で使われるベクトル表現だ。
例えば最後の位置のHidden Stateには、
それまでの文脈を処理した結果が反映されている。
しかし、まだ問題がある。
このベクトルは、
VocabularyのどのTokenを次に出すか
を直接表しているわけではない。
そこで次の処理が必要になる。
⸻
3.ベクトルをVocabularyの世界へ戻す
ヨシコが書いた。
Hidden State
↓
Linear Projection
↓
VocabularyサイズのScore
ヒロシが聞いた。
「Linear Projection?」
「線形変換」
「また行列?」
「また行列」
モデル内部のHidden Stateを、
Vocabularyに含まれる各Tokenに対応したScore
へ変換する。
例えば説明用にVocabularyが5個しかない世界なら、
東京 → 8.2
大阪 → 3.1
京都 → 2.7
日本 → 1.4
です → 0.8
のようなScoreが出るかもしれない。
もちろん、本物のLLMのVocabularyはこんなに小さくない。
重要なのは、
各Token候補に対してScoreが出る
ということだ。
そして、このScoreには名前がある。
Logits(ロジット)
ヒロシが言った。
「また新しい単語を増やすな」
「でも重要だから覚えて」
⸻
4.Logitsは確率ではない
ヒロシは数字を見て言った。
「じゃあ東京8.2って、82%?」
「違う」
「じゃあ8.2%?」
「違う」
「じゃあ何?」
「Score」
Logitは、
まだ確率ではない。
正の値にも負の値にもなり得る。
合計が1になる必要もない。
つまり、
東京 → 8.2
大阪 → 3.1
京都 → 2.7
と出ても、
そのまま、
「東京82%」
という意味にはならない。
ヒロシが言った。
「じゃあ確率にするには?」
ヨシコが笑った。
「知ってる関数を使う」
嫌な予感がした。
⸻
5.Softmax、三度目の登場
ヨシコが書いた。
Softmax
ヒロシが叫んだ。
「またお前か!」
第28話。
Attention ScoreをAttention Weightへ変換するとき。
第30話の次Token予告。
そして今回。
Softmaxは、
複数のLogitを、
合計が1になる確率分布
へ変換できる。
例えば説明用に、
東京 → 0.94
大阪 → 0.03
京都 → 0.02
その他 → 0.01
のような形になる。
※数値は説明用の架空例。
これで初めて、
次Tokenの確率分布
ができる。
ヒロシが言った。
「つまりモデルは、“答えは東京です”って考えてるんじゃなくて……」
ヨシコが続けた。
「次のToken候補それぞれに、確率分布を作っている」
ヒロシは書いた。
LLMは最初から文章を完成させているわけではない。
その時点での次Token候補を計算している。
⸻
6.だったら一番高いTokenを選べばいいじゃん
ヒロシが言った。
「簡単じゃん」
「何が?」
「94%で東京なら東京を選ぶ」
「そういう方法もある」
「も?」
また嫌な言葉だった。
毎回、
最も確率が高いTokenを選ぶ
方法がある。
これは、
Greedy Decoding
あるいは、
Greedy Search
と呼ばれる。
例えば、
東京 0.60
大阪 0.20
京都 0.10
その他 0.10
なら、
東京を選ぶ。
次のStepでも、
また最高確率Tokenを選ぶ。
さらに次も最高確率。
ヒロシが言った。
「合理的じゃん」
「でも、それだけが生成方法じゃない」
⸻
7.なぜ“わざと”一番以外を選ぶの?
ヨシコが文章を書いた。
「今日は天気がいいので、」
次Token候補が、
散歩 → 0.35
外出 → 0.25
公園 → 0.15
仕事 → 0.10
その他 → 0.15
だったとする。
Greedyなら、
必ず、
散歩
を選ぶ。
でも人間の文章は、いつも最頻候補だけでできているわけではない。
そこで、
確率分布に従ってTokenを選ぶ
方法がある。
これが、
Sampling
だ。
ヒロシが言った。
「35%の散歩が一番出やすいけど、25%の外出が選ばれることもある?」
「そう」
「それって……ランダム?」
「完全なデタラメではない。モデルが作った確率分布に基づくランダム性ね」
ここは大事だ。
Sampling = 適当に単語を選ぶ
ではない。
確率が高いTokenほど選ばれやすく、
低いTokenほど選ばれにくい。
その分布から選ぶ。
⸻
8.Temperatureって何?
ヒロシが言った。
「そういえば生成AIの設定でTemperatureって聞いたことある」
「そこにつながる」
Temperatureは、
Tokenを選ぶ前の確率分布の鋭さを調整するためのパラメータ
として使われる。
ざっくり言えば、
Temperatureを低くすると、
確率の高い候補がより優勢になりやすい。
Temperatureを高くすると、
候補間の差が相対的に緩やかになり、Sampling時に多様なTokenが選ばれやすくなる。
ヒロシが言った。
「低温だと堅い文章」
「そうなる傾向はある」
「高温だとクリエイティブ」
「そう単純に断定はしない方がいいけど、入口としては近い」
そして重要なのは、
Temperatureそのものがモデルを賢くしたり、知識を増やしたりするわけではない。
変えているのは、
生成時のToken選択に使う分布
だ。
⸻
9.Temperature 0なら絶対同じ回答?
ヒロシが言った。
「じゃあTemperatureを0にすれば、絶対同じ答えになる?」
ヨシコは首を振った。
「“絶対”は言わない方がいい」
利用するモデルやAPI、推論環境、実装、その他の設定によって、再現性の扱いは異なる。
さらにTemperatureは、Samplingと組み合わせて意味を持つパラメータとして実装されることが多い。
だから、
Temperatureを下げれば必ず完全に決定論的になる
と一般化するのは危険だ。
ヒロシはメモした。
Temperature ≠ AIの創造性ボタン
「これ大事そう」
「かなり」
⸻
10.候補が多すぎない?
ヒロシがまた疑問を持った。
「でもVocabulary全部からSamplingするの?」
「そのまま全部を候補にするとは限らない」
そこで登場するのが、
Top-k
や、
Top-p
といった方法だ。
Top-k
確率の高い、
上位k個のTokenだけ
を候補として残す。
例えばTop-k = 5なら、
上位5候補からSamplingする。
Top-p
確率の高い順にTokenを集め、
累積確率が一定値pに達するまでの候補
を使う。
これは、
Nucleus Sampling
とも呼ばれる。
ヒロシが言った。
「Top-kは人数制限」
「まあ」
「Top-pは合格ラインまで候補を集める?」
「ちょっと違うけど、今日はそれでいい」
⸻
11.一個選んだら、文章完成?
「じゃあ東京を選んだ」
「うん」
「終了?」
「まだ」
選ばれたTokenは、
それまでのToken列の後ろに追加される。
例えば、
「日本の首都は」
↓
「日本の首都は 東京」
となる。
するとモデルは、
この新しいToken列を前提として、
さらに次のToken
を予測する。
例えば、
「です」
「に」
「で」
「。」
……
といった候補の確率分布を作る。
一つ選ぶ。
追加する。
また次を予測する。
一つ選ぶ。
追加する。
これを繰り返す。
ヒロシが言った。
「ちょっと待って」
「何?」
「ChatGPTって、最初に回答全文を作ってから表示してるんじゃないの?」
「基本的な自己回帰生成の考え方は違う」
LLMは、
Tokenを一つ生成し、そのTokenを文脈に加え、次のTokenを生成する。
これを繰り返す。
だから、
Autoregressive(自己回帰)
なのだ。
⸻
12.第24話が、ここでつながった
ヒロシは黙った。
第24話。
ヨシコは言った。
「Language Modelは、次のTokenを予測する」
そのときヒロシには、
あまりに単純に聞こえた。
でも、その裏側には、
Tokenization。
Token ID。
Embedding。
Positional Information。
Transformer。
Self-Attention。
Q・K・V。
Scaled Dot-Product Attention。
Multi-Head Attention。
Feed Forward。
Residual Connection。
Normalization。
何層ものTransformer Block。
そして、
Output Projection。
Logits。
Softmax。
Decoding。
これだけの処理があった。
ヒロシが言った。
「“次のTokenを予測するだけ”って……」
「うん」
「“だけ”って言っちゃダメなやつだな」
ヨシコが笑った。
「ようやくわかった?」
⸻
13.入力から出力まで、全部つなげてみよう
ヒロシはホワイトボードいっぱいに書いた。
① 入力テキスト
「日本の首都は」
↓
② Tokenization
文章をTokenへ分割
↓
③ Token ID
TokenをVocabulary上のIDへ変換
↓
④ Embedding
Token IDをベクトル表現へ変換
+
位置情報を扱う仕組み
↓
⑤ Transformer Blocks
Self-Attention
Multi-Head Attention
Feed Forward
Residual Connection
Normalization
これを何層も繰り返す
↓
⑥ Hidden State
文脈を反映した内部ベクトル表現
↓
⑦ Output Projection
Vocabulary上の各Token候補のScoreへ変換
↓
⑧ Logits
東京 → 8.2
大阪 → 3.1
京都 → 2.7
……
↓
⑨ Softmaxなどを通じた生成用分布
次Token候補の分布を得る
↓
⑩ Decoding
Greedy
Sampling
Temperature
Top-k
Top-p
などの設定・戦略を使って次Tokenを選ぶ
↓
⑪ Tokenを追加
↓
⑫ また次のTokenを予測
↓
繰り返す
ヒロシはホワイトボードを見た。
「……つながった」
⸻
14.24話から7話かかった
ヒロシは数えた。
第24話。
Language Model。
第25話。
Token。
第26話。
Embedding。
第27話。
Transformer。
第28話。
Self-Attention。
第29話。
Multi-Head Attention。
第30話。
Transformer Block。
そして第31話。
次Token生成。
7話かけて、
ようやく一周した。
ヒロシは言った。
「最初からこの図だけ見せてくれれば、1話で終わったんじゃない?」
ヨシコが聞いた。
「じゃあ第24話の時点で、Logits、Q・K・V、Residual Connection、Top-pまで説明されて理解できた?」
ヒロシは黙った。
「……7話でお願いします」
⸻
15.でも、まだ一つ大きな謎が残っている
ヒロシは完成した図を眺めた。
入力から次Tokenまで。
全部つながった。
しかし、ふと疑問が浮かんだ。
「ヨシコ」
「何?」
「このTransformerって……」
「うん」
「最初からこんなに賢いの?」
ヨシコが笑った。
「もちろん違う」
「じゃあ、Q・K・Vの重みも、Feed Forwardも、Embeddingも……」
「最初から答えを知ってるわけじゃない」
「じゃあ、どうやって覚える?」
ヨシコはホワイトボードを消した。
そして新しく書いた。
Pretraining
Loss
Backpropagation
Gradient Descent
ヒロシの顔が引きつった。
「急に大学の授業になった」
「今まで何だと思ってたの?」
「家庭教師」
ヨシコは言った。
「次は、LLMがどうやってこの大量のパラメータを学習するのか」
ヒロシは理解した。
ここまで学んだのは、
学習済みLLMがどう動くか。
次に学ぶのは、
そのLLMがどう作られるのか。
だった。
⸻
今日わかったこと
1. Transformerの最終出力も、まずはベクトルである。
そこからVocabulary上のToken候補へ変換する必要がある。
2. Output ProjectionによってVocabularyサイズのScoreを作る。
各Token候補に対応するScoreがLogitsである。
3. Logitsそのものは確率ではない。
Softmaxなどを通じてToken候補の分布として扱える形にする。
4. 次Tokenは必ず最高確率候補を選ぶとは限らない。
Greedy Decodingでは最高候補を選ぶが、Samplingでは確率分布に基づいてTokenを選択する。
5. TemperatureはSampling時の分布の鋭さを調整する。
AIの知識量や能力そのものを変えるパラメータではない。
6. Top-kやTop-pで候補Tokenを絞る方法もある。
Top-kは上位k候補、Top-pは累積確率を基準に候補集合を作る。
7. LLMは基本的にTokenを一つずつ自己回帰的に生成する。
選んだTokenを文脈へ追加し、また次Tokenを予測する。
8. 第24話から学んできたLLMの推論処理が一本につながった。
Text → Token → Token ID → Embedding → Transformer → Hidden State → Logits → 次Token候補の分布 → Decoding → Token → Repeat
⸻
ヒロシのAI理解度
★★★★☆
第31話。
ついにヒロシは、
「LLMは次のTokenを予測する」
という第24話の一文を、
モデル内部の処理まで含めて説明できるようになった。
もう、
「AIが文章を読んで、考えて、答えを書いている」
だけでは説明しない。
Token。
Embedding。
Transformer。
Attention。
Feed Forward。
Hidden State。
Logits。
Softmax。
Decoding。
そして自己回帰生成。
“魔法の箱”だったLLMの中に、機械としての構造が見えてきた。
しかし。
今理解したのは、
学習済みLLMがどう動くか。
まだ、
LLMがどうやって学習するのか
を知らない。
⸻
次回予告
第32話:「AIは何を間違えたら怒られるの?」Pretraining・Loss・Backpropagationで知るLLMの“学び方”
Transformerの動きがようやくわかったヒロシ。
ところが、新たな疑問が生まれる。
「この何十億ものParameter、誰が設定したんだ?」
人間が一個ずつ入力したわけではない。
では、
LLMはどうやって学習するのか。
Pretrainingとは何か。
Training Dataから何を学ぶのか。
正解Tokenと予測Tokenをどう比較するのか。
Lossとは何か。
Gradientとは何か。
Backpropagationとは何か。
そして、
「次Token予測を何度も繰り返すだけで、なぜこんな能力が生まれるのか?」
次回から、
LLMを“使う仕組み”から、“作る仕組み”へ。
ヒロシはついに、
Training
の世界へ入る。
これでなんとか明日も、
「Temperatureを上げればAIの頭が良くなるんですよね?」
と言わずに生き残っていけそうだ!
⸻
📚 CognitiveAIヒロシを続けて読む
⬅️ 前回:第30話
「Attentionだけじゃなかったの!?」Transformer Blockを支えるFeed Forward・Residual・Normalization
https://note.com/fine_lotus9013/n/n9fe6895eeb95
📖 第1話から読む
42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
➡️ 次回:第32話
「AIは何を間違えたら怒られるの?」Pretraining・Loss・Backpropagationで知るLLMの“学び方”
→【第32話のURL/公開後に設定】