
【第4章:LLMの正体編】第38話:「何十億個のParameter、全部Trainingし直すの!?」Fine-Tuning・PEFT・LoRAで知るLLMの“効率的な育て方”
はじめて読む方へ
こんにちは。CognitiveAIヒロシです。
このブログは、42歳・文系・営業企画畑のヒロシが、ある日突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに鍛えられながら、
「AIを使う人」から「AIを説明し、設計できる人」へ成長していく物語です。
前回、第37話。
ヒロシは、
「正解が一つではないのに、どうやってAIをTrainingするのか?」
という問題に足を踏み入れた。
Human Preference。
Reward Model。
RLHF。
DPO。
人間が望ましいと考えるResponseを利用して、
モデルの振る舞いを調整していく。
ヒロシは、
「AIは大量の文章をPretrainingすれば完成」
という世界から、
ずいぶん遠くまで来ていた。
そして第37話の最後。
ヒロシは新たな疑問を持った。
「でもさ、ヨシコ」
「何?」
「Fine-tuningって……」
「うん」
「何十億個もあるParameterを、また全部Trainingするの?」
ヨシコが答えた。
「全部更新する方法もある」
ヒロシは固まった。
「……またGPU祭りじゃん」
「だから、別の方法もある」
ヨシコがホワイトボードに書いた。
PEFT
その下に、
LoRA
ヒロシは天井を見た。
「第38話にして、まだ新しい略語が出るのか……」
1.そもそもFine-Tuningって何?
まずは言葉を整理しよう。
Pretrainingでは、
大量のText Dataを使って、
Next Token Predictionなどを通じて、
広範な言語パターンや知識、能力の土台を学習した。
その結果できるのが、
Base Model。
そこから、
特定のTask。
特定のDomain。
Instruction Following。
望ましいResponse。
などに合わせて、
追加のTrainingを行う。
これが広い意味で、
Fine-Tuning
だ。
ヒロシが言った。
「第36話のSFTもFine-Tuning?」
「そう。SFTはSupervised Fine-Tuning」
「なるほど」
ここで大切なのは、
Fine-Tuningは目的を表す大きな概念で、LoRAはそのFine-Tuningを効率的に行うための方法の一つ
ということだ。
2.普通にFine-Tuningすると何が起こる?
ヨシコが書いた。
Full Fine-Tuning
「Full?」
「モデルの広範なParameterをTrainableにして更新する方法」
例えば、
70億Parameterのモデルがある。
ヒロシが言った。
「7B」
「そう」
Full Fine-Tuningでは、
大量のParameterについて、
Forward Pass。
Loss。
Backpropagation。
Gradient。
Optimizer。
Parameter Update。
を行う。
「あれ?」
ヒロシが気づいた。
「Parameter本体だけGPU Memoryに載せればいいわけじゃない?」
「そこが重要」
Trainingでは、
モデルのWeightだけでなく、
Gradient。
Optimizer State。
Activation。
などにもMemoryが必要になる。
つまり、
モデルを読み込めたからFine-Tuningできる
とは限らない。
「InferenceできるGPUでも、Trainingできるとは限らない?」
「その通り」
3.会社ごとにFull Fine-Tuningしていたら大変じゃない?
ヒロシが想像した。
営業部門用Model。
人事部門用Model。
法務部門用Model。
金融用Model。
医療用Model。
Customer Support用Model。
「これ、全部Full Fine-Tuningするの?」
「できる場合もあるけど、コストは考えないといけない」
さらに、
Fine-Tuningしたモデルを保存するとしよう。
Base Model全体をそれぞれ別のWeightとして持つなら、
Taskが増えるほどStorage負担も増える。
ヒロシが言った。
「同じBase Modelが何個も並ぶの?」
「設計次第だけど、Full Fine-Tuned Modelを個別に保存すればそういう問題は出てくる」
そこで研究されてきたのが、
モデル全体を毎回更新しなくても適応できないか?
という考え方だ。
4.そこでPEFTが登場する
ヨシコが大きく書いた。
PEFT
正式名称は、
Parameter-Efficient Fine-Tuning
「Parameterを効率よくFine-Tuning?」
「そう」
考え方はシンプルだ。
巨大なBase ModelのParameterすべてを更新するのではなく、
比較的少数のParameterをTrainableにして、モデルを目的に適応させる。
Base Modelの多くは、
Frozen
つまり固定する。
現在の代表的なPEFT実装でも、Base ModelをFrozenにして追加されたAdapter側など少数のParameterだけを更新することで、GradientやOptimizer Stateに必要なMemoryを大幅に削減できる。Hugging Face
ヒロシが言った。
「100億個あったら、100億個全部を動かさなくてもいい?」
「そういう発想」
「それ、めちゃくちゃ重要じゃない?」
「重要だから名前が付いてる」
5.PEFTは一つのAlgorithmではない
ヒロシがノートに書いた。
PEFTというTraining Algorithm
「ちょっと待って」
「え?」
「PEFTは一つのAlgorithmの名前じゃない」
「違うの?」
PEFTは、
Parameter-Efficient Fine-Tuningというアプローチの総称
だ。
その中には複数の方法がある。
例えば、
LoRA。
Prompt Tuning。
Prefix Tuning。
IA³。
AdaLoRA。
など。
実際、現在のPEFT系ライブラリでも複数の手法が実装されている。Hugging Face
ヒロシが言った。
「RAGみたいなカテゴリー名?」
「その例えは少し危ないけど、“一つのAlgorithm名ではなく複数の方法を含む”という点だけなら近い」
そして、
その中でも非常に有名なのが、
LoRA
だ。
6.LoRAって何の略?
ヨシコが書いた。
LoRA = Low-Rank Adaptation
「ローランク?」
「今日はそこが核心」
LoRAは2021年に提案された、
Parameter-Efficient Fine-Tuningの代表的な方法だ。
発想をかなり単純化すると、
巨大なWeight Matrixそのものを全部更新する代わりに、その“変化分”を小さなMatrixの組み合わせで表そう
というものだ。
ヒロシが言った。
「……一気に分からなくなった」
「じゃあ第33話に戻ろう」
7.LLMの中には巨大なMatrixがあった
Transformerでは、
いろいろな場所でLinear Transformationが使われていた。
例えば、
Attentionの、
Q。
K。
V。
を作るProjection。
第28話で見たように、
Hidden StateからQ、K、Vを作るために、
Weight Matrixを掛ける。
例えば、あるWeightを、
W
としよう。
Full Fine-Tuningでは、
このW自体を更新する。
Training前:
W
Training後:
W + ΔW
「ΔW?」
「Fine-Tuningによって変化した分」
つまり、
ΔW = Fine-TuningによるWeightの変更量
と考えればいい。
ヒロシが言った。
「じゃあΔWを学習してる?」
「概念的にはそう考えられる」
8.LoRAはΔWを小さく分解する
ここからがLoRAのポイントだ。
巨大なΔWを、
そのまま巨大なMatrixとして全部Trainingする代わりに、
LoRAでは、
ΔW ≈ BA
のように、
二つの小さなMatrixの積で表現する。
ヒロシが固まった。
「BとAが来た」
「大丈夫。掛け算するだけ」
例えば、
元の巨大なMatrixが、
4096 × 4096
だったとする。
その変更量ΔWも、
そのままなら、
4096 × 4096
の巨大なMatrixになる。
Parameter数は、
約1,677万。
「一つのMatrixだけで?」
「そう」
でもLoRAで、
Rankを例えば、
r = 8
とすると、
二つの小さなMatrixにできる。
A:8 × 4096
B:4096 × 8
Trainable Parameterは、
約6.6万。
ヒロシが電卓を叩いた。
「……全然違う」
「そう」
ここが、
Low-Rank
の意味だ。
9.Rankって何?
ヒロシが聞いた。
「そのRankって何?」
「線形代数を本気でやる?」
「やらない」
「では直感だけ」
Matrixの変化には、
さまざまな方向の情報が含まれている。
LoRAでは、
Fine-Tuningに必要な変更を、
比較的少数の方向、つまり低いRankで近似できるのではないか
と考える。
「4096種類全部の方向を自由に変えるんじゃなくて?」
「かなり直感的に言えばね」
「重要な少数の方向だけで変化を表現する?」
「そのイメージ」
ただし、
Rankが小さければ必ず十分
という意味ではない。
どのLayerにLoRAを入れるか。
Rankをいくつにするか。
どんなDataでTrainingするか。
Taskは何か。
Hyperparameterはどうするか。
設計によって結果は変わる。
10.Base ModelのWはどうなるの?
ヒロシが聞いた。
「LoRAでAとBをTrainingするなら、元のWは?」
「基本的なLoRAではFrozen」
つまり、
元のBase ModelのWeight、
W
は固定する。
Trainingするのは、
追加した、
AとB
だ。
Forward Passでは概念的に、
W + BA
の効果を使う。
現在の一般的なPEFT実装でも、Base ModelをFrozenにしたままAdapter ParameterだけをTrainingする構成が使われる。Hugging Face
ヒロシが言った。
「Base Modelを壊さずに、横から小さい部品を足して調整する?」
「かなりいいイメージ」
11.なんでそんな小さな変更で効くの?
ヒロシが当然の疑問を持った。
「でもさ」
「うん」
「何十億Parameterもあるモデルを、そんな小さいMatrixだけ変えて本当にFine-Tuningできるの?」
これがLoRAの面白いところだ。
Pretraining済みのBase Modelには、
すでに大量のDataから学習した能力がある。
Fine-Tuningでは、
ゼロから言語能力を作り直したいわけではない。
すでに持っている能力を、
特定のTaskや振る舞いへ適応させたい。
そこで、
巨大なParameter空間全体を自由に動かさなくても、
比較的小さなTrainable Parameterによって有効な適応ができる場合がある。
PEFTの実装・ドキュメントでも、少数の追加ParameterだけをFine-Tuningすることで、Full Fine-Tuningに近い性能を得られるケースがあることが説明されている。GitHub
「なるほど」
ヒロシが言った。
「Base Modelを作り直すんじゃなくて、Base Modelを活かして調整する」
「そう」
12.LoRAのメリットはTraining Costだけじゃない
ヒロシは言った。
「Parameterが少ないなら、GPUが楽になる」
「それだけじゃない」
Trainable Parameterが少ない。
すると、
Gradientも少ない。
Optimizer Stateも少なくて済む。
Training時のMemory負担を減らせる。
さらに、
保存するFine-Tuning結果も、
Base Model全部ではなく、
LoRA Adapter
だけを保存できる。
現在の一般的なPEFT実装でも、CheckpointにはAdapter Weightと設定だけを保存できるため、Base Model全体を毎回保存するより小さくできる。Hugging Face
ヒロシの目が光った。
「じゃあ……」
Base Model。
+
営業用LoRA。
人事用LoRA。
法務用LoRA。
Customer Support用LoRA。
「みたいにできる?」
「技術的には、用途ごとにAdapterを持つような設計はできる」
現在のPEFT実装では、一つのBase Modelに複数Adapterを保持し、切り替えて利用する仕組みもある。Hugging Face
「おお……」
ヒロシは初めて、
LoRAが単なるTraining Techniqueではなく、
Model運用の設計にも関係する
ことに気づいた。
13.じゃあLoRAはFull Fine-Tuningの完全上位互換?
ヒロシが言った。
「分かった。もうFull Fine-Tuningいらないじゃん」
「極端」
「違う?」
LoRAには大きなメリットがある。
しかし、
LoRAを使えば常にFull Fine-Tuningと同じ結果になる
わけではない。
Task。
Data。
Model。
必要な変化の大きさ。
Target Module。
Rank。
Training Recipe。
さまざまな条件によって結果は変わる。
モデル全体を大きく適応させたい場合など、
Full Fine-Tuningが選択肢になることもある。
つまり、
Full Fine-Tuning vs LoRA
は、
単純な勝ち負けではない。
「また“目的による”か」
「AI設計で一番よく出る答え」
14.LoRAはどこに入れるの?
ヒロシがTransformerの図を思い出した。
「AとBって、モデルのどこに付けるの?」
「そこも設計する」
LoRAは、
Transformer内部のLinear LayerなどをTargetにして追加できる。
例えば、
Attentionで使われる、
Q Projection
V Projection
など。
実際、PEFTの一般的な設定でも、モデルArchitectureに応じてq_projやv_projなどがTargetになる例がある。Hugging Face
ヒロシが突然叫んだ。
「Q!」
「何?」
「第28話のQじゃん!」
「そう」
「つながった!」
Token。
Embedding。
Transformer。
Q、K、V。
Attention。
Feed Forward。
Parameter。
Backpropagation。
そして、
LoRA。
今まで別々に覚えていた言葉が、
Transformerの内部でつながってきた。
15.でも、Base Model自体が巨大なのは変わらなくない?
ヒロシが少し考えて言った。
「ヨシコ」
「何?」
「LoRAでTrainable Parameterを減らせるのは分かった」
「うん」
「でもBase Model自体はGPU Memoryに載せるんだよな?」
「鋭い」
LoRAは、
TrainingするParameterを大幅に減らせる。
しかし、
Base Modelそのものが巨大であることは変わらない。
例えば、
Base ModelのWeightを16-bitで保持すれば、
それだけでも大きなMemoryが必要になる。
「じゃあ、もっと小さくできないの?」
「できる」
ヨシコが書いた。
Quantization
ヒロシが言った。
「量子化?」
「そう」
16.QuantizationとLoRAを組み合わせたら?
Quantizationは、
モデルのWeightなどを、
より少ないbit数で表現することで、
Memory使用量などを削減する技術だ。
例えば、
16-bit。
8-bit。
4-bit。
より少ないbitでWeightを保持できれば、
Memory負担を減らせる。
「じゃあBase Modelを4-bitにして……」
ヒロシが続けた。
「LoRAだけTrainingする?」
「その発想がある」
ヨシコが書いた。
QLoRA
「Qが付いた!」
「今回のQはQueryじゃないからね」
「危なかった!」
ここは重要だ。
第28話の、
Q = Query
とは別物。
QLoRAのQは、
Quantized
に由来する。
同じアルファベットでも、
意味は全く違う。
17.QLoRAは何をしたの?
QLoRAでは、
Pretrained Modelを低bit、代表的には4-bitでQuantizeして保持し、
そのFrozenなQuantized Modelを通してGradientをBackpropagateしながら、
LoRA AdapterをTrainingする。
QLoRAの原論文では、Frozenな4-bit Quantized Modelに対してLoRAを学習することでMemory使用量を大幅に削減し、65B Parameter Modelを単一の48GB GPUでFine-Tuningできたと報告された。arXiv
ヒロシが固まった。
「65B?」
「650億Parameter」
「1枚のGPU?」
「論文では48GB GPU 1枚」
「急に現実味が出てきた……」
もちろん、
どんなモデルでも、
どんなGPUでも、
簡単にFine-Tuningできるという意味ではない。
しかしQLoRAは、
巨大LLMのFine-Tuningに必要なMemoryを大きく下げられる
ことを示した重要な方法だった。
18.LoRAとQLoRAは同じもの?
ヒロシが聞いた。
「じゃあLoRAとQLoRAって同じ?」
「関連してるけど同じではない」
整理すると、
LoRA
Base ModelのWeightを基本的にFrozenにして、
Low-Rank AdapterをTrainingする。
一方、
QLoRA
Base ModelをQuantizeしてMemory負担を減らし、
そのFrozenなQuantized Base Modelに対して、
LoRA AdapterをTrainingする。
つまり、
QLoRA = Quantization + LoRAを組み合わせた効率的なFine-Tuningアプローチ
と考えると分かりやすい。arXiv
ヒロシが書いた。
LoRA:Trainable Parameterを減らす
QLoRA:Base ModelのMemoryも抑えながらLoRAする
「おお」
「かなり整理できてる」
19.じゃあQuantizationすれば何も失わない?
ヒロシが勢いづいた。
「じゃあ全部4-bitにすればいい!」
「また極端」
Quantizationでは、
数値を表現するPrecisionを下げる。
それによって、
Memory。
Storage。
場合によっては計算効率。
などにメリットがある。
一方で、
精度低下。
HardwareやKernelとの相性。
どこまでQuantizeするか。
TrainingかInferenceか。
さまざまなTrade-offがある。
だから、
bit数が少ないほど無条件に良い
わけではない。
ヒロシが言った。
「AI、何をやってもTrade-offだな」
「ようやくArchitectっぽいこと言うようになったね」
20.Fine-Tuningは「知識を入れる魔法」なの?
ここでヒロシが、
もう一つ重要な質問をした。
「じゃあ会社の最新規程をLoRAで覚えさせればいい?」
ヨシコが首を振った。
「目的を整理した方がいい」
「RAGじゃダメ?」
「そこが重要」
第4話から第23話で学んだ、
RAG
は、
外部情報をRetrievalして、
Prompt / ContextとしてLLMへ渡す仕組みだった。
一方Fine-Tuningは、
モデルのParameterをTrainingによって変える。
目的が違う。
例えば、
毎週更新される社内規程。
最新の商品価格。
今日の在庫。
最新ニュース。
こうした情報を、
Fine-Tuningで毎回Parameterへ埋め込むのが適切とは限らない。
外部Knowledgeを最新状態で参照したいなら、
RAGやTool Use
の方が適している場合がある。
一方、
回答Style。
Taskへの適応。
特定のOutput Format。
専門的な振る舞い。
などをモデル側へ学習させたい場合には、
Fine-Tuningが候補になる。
ヒロシが言った。
「RAGとFine-Tuningって競合じゃない?」
「そう」
RAGかFine-Tuningか。
ではなく、
何を外部から与え、何をモデルの振る舞いとして学習させるか。
場合によっては、
両方使う。
21.ここまでのLLM開発を一度つなげてみる
ヨシコがホワイトボードいっぱいに書いた。
大量のData
↓
Pretraining
↓
Base Model
↓
Post-training
↓
SFT / Preference Learning
↓
Fine-Tuning
そしてFine-Tuningを効率化する方法として、
PEFT
↓
その代表例として、
LoRA
↓
さらにMemory効率を高める選択肢として、
Quantization + LoRA
↓
QLoRA
ヒロシはしばらく眺めた。
「第24話の頃、俺はLLMが何かも説明できなかったんだよな」
「そうだったね」
今なら少し違う。
LLMは、
巨大なTransformerを用意して終わりではない。
Training Data。
Objective。
Loss。
Gradient。
Optimizer。
Compute。
Scaling。
Post-training。
Preference。
Fine-Tuning。
そして、
Efficiency。
全部がつながっている。
22.でも「軽くする」ってFine-Tuningだけの話?
ヒロシが最後に聞いた。
「ヨシコ」
「何?」
「PEFTとLoRAでTrainingを軽くした」
「うん」
「QLoRAならMemoryも抑えられる」
「うん」
「じゃあInferenceも同じ?」
ヨシコが笑った。
「そこ、次に行く?」
「違うの?」
Trainingが効率的でも、
実際にサービスとしてLLMを動かすときには、
別の問題がある。
モデルをGPU Memoryへどう載せるのか。
1 Token生成するのにどれくらい時間がかかるのか。
何人のユーザーを同時に処理できるのか。
Contextが長くなったらどうなるのか。
「待って」
ヒロシが言った。
「Trainingが終わっても、まだGPUの話があるの?」
「むしろ本番環境では重要」
ヨシコがホワイトボードに書いた。
Inference
その下に、
Memory
Latency
Throughput
そして、
KV Cache
ヒロシが固まった。
「KとV……?」
「覚えてる?」
「第28話のKとV?」
「今度は本当にそのKとV」
「戻ってきた!」
今日わかったこと
Fine-Tuningは、Pretrained Modelを特定のTask・Domain・振る舞いなどへ追加学習で適応させること。
SFTもFine-Tuningの一種。Full Fine-Tuningでは、モデルの広範なParameterをTrainableにして更新するため、巨大LLMではCompute・GPU Memory・Storageなどの負担が大きくなり得る。
PEFT(Parameter-Efficient Fine-Tuning)は、モデル全体ではなく比較的少数のParameterをTrainingすることで、Fine-Tuningを効率化するアプローチの総称。
LoRA(Low-Rank Adaptation)はPEFTの代表的な方法。
Base ModelのWeightを基本的にFrozenにし、Weightの変化をLow-Rankな小さなMatrixで表現して、その追加ParameterをTrainingする。LoRAでは概念的に、巨大なWeight変更ΔWを「ΔW ≈ BA」のような小さなMatrixの積で表現する。
そのためTrainable Parameterを大幅に減らせる。LoRA AdapterはBase Modelとは別に小さく保存でき、用途ごとにAdapterを持つような設計も可能。
QLoRAは、QuantizedされたFrozen Base ModelとLoRAを組み合わせ、Fine-Tuning時のMemory負担をさらに削減する方法。
RAGとFine-Tuningは同じ技術ではなく、目的も異なる。
外部Knowledgeを検索してContextとして渡すRAGと、Parameterを変えてモデルの振る舞いを適応させるFine-Tuningは、必要に応じて組み合わせる。
ヒロシのAI理解度
★★★★☆
第38話。
ヒロシは、
「Fine-Tuningするなら全部のParameterを更新する」
という思い込みを捨てた。
Full Fine-Tuning。
PEFT。
LoRA。
Quantization。
QLoRA。
巨大なBase Modelをそのまま活かしながら、
どこをTrainableにするのか。
何をFrozenにするのか。
どれだけのMemoryとComputeを使うのか。
Fine-Tuningそのものが、
一つの設計問題だった。
そして、
ここで第28話のQ・K・Vが、
再びつながった。
Transformerの中で学んだWeight Matrix。
そのWeightをどう効率的に適応させるか。
ヒロシはようやく、
モデル内部のArchitectureとTraining Techniqueを同じ地図の上で考えられるようになってきた。
しかし。
モデルをTrainingできたからといって、
サービスとして効率よく動かせるとは限らない。
次に待っているのは、
Inference。
モデルが実際にTokenを生成するとき、
GPUの中で何が起きているのか。
そして、
第28話で登場した、
KとV
が、また重要になる。
次回予告
第39話:「同じ文章を毎回計算してるの!?」Prefill・Decode・KV Cacheで知るLLM推論の“高速化”
ユーザーがPromptを送る。
LLMが最初のTokenを生成する。
次のTokenを生成する。
また次のTokenを生成する。
ヒロシは気づく。
「これ、前のTokenまで毎回Attentionを全部計算し直してない?」
もし毎回ゼロから計算していたら、
長いContextほど大変になる。
そこで登場するのが、
KV Cache。
Self-Attentionで一度計算したKeyとValueを保存し、
次Token生成で再利用する。
さらに、
Promptをまとめて処理する、
Prefill
と、
1 Tokenずつ生成していく、
Decode
では、
計算の性質も違う。
ここからヒロシは、
Trainingから、
Inference / Serving
の世界へ進む。
これでなんとか明日も、
「Fine-Tuningって、LLMのParameterを全部もう一回Trainingすることですよね?」
と言わずに生き残っていけそうだ!
📚 CognitiveAIヒロシを続けて読む
⬅️ 前回:第37話
「正解がないのに、どうやって教えるの!?」Human Preference・Reward Model・RLHFで知るAIの“好みの学び方”
https://note.com/fine_lotus9013/n/n2db160022655
📖 第1話から読む
42歳・文系のヒロシが、突然「生成AI推進リーダー」に任命されたところから始まります。
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
➡️ 次回:第39話
「同じ文章を毎回計算してるの!?」Prefill・Decode・KV Cacheで知るLLM推論の“高速化”
→【第39話のURL/公開後に設定】
#生成AI #AI #LLM #大規模言語モデル #FineTuning #PEFT #LoRA #QLoRA #LowRankAdaptation #Quantization #PostTraining #SFT #Transformer #Parameter #GPU #機械学習 #DeepLearning #AI学習 #生成AI学習 #AI初心者 #DX #CognitiveAIヒロシ