メインコンテンツへスキップ

東京大学 松尾・岩澤研究室|大規模言語モデル基礎講座2025Autumn・第6回の感想ノート ─ ファインチューニング─

    今日はAIを「自分好みに育てる」ためのファインチューニング(微調整)に関する勉強をしました。

    今日のノートは8ページ。

    前回のプレトレーニング(事前学習)で「ことばの感覚」を身につけたAIを、

    「特定のタスクに特化させる」ための工程です。

    今日の先生方は特に授業の進め方がきれいで、とてもわかりやすかった!!


    🧠 ファインチューニングの位置づけ

    講義の中で、LLMを育てる3つのステップが紹介されていました。

    1. プレトレーニング(事前学習)

    • 大量のテキストを読ませて、「ことばの感覚」を育てる

    • AIの土台を作る段階

    2. ファインチューニング(微調整)← 今日はここ!

    • 特定のタスクに合わせて、AIを調整する

    3. RLHF(人間のフィードバックからの強化学習)

    • 人間の好みに合わせて、さらに性能を磨く


    今日学んだのは、この2番目の「ファインチューニング」。

    AIをどう育てるか、どんな手法があるのか、

    そしてどの手法を選ぶべきかを学びました。


    🎯 ファインチューニングって何をしているの?

    ざっくり言うと、

    AIに「こういうタスクが得意になってほしい」と教え込む時間。

    プレトレーニングで育てた「ことばの感覚」を、

    特定の目的(翻訳、要約、質問応答など)に特化させるんです。
    たとえばMed-Gemini(Google が開発したGeminiを医療系に強くしたもの)


    ■ ファインチューニングの種類

    講義では、さまざまなファインチューニング手法が紹介されました。その中から一部をご紹介します。

    Full Fine-Tuning(Full-FT)

    • AIの全パラメータを学習し直す

    • 高性能だけど、コストが高い

    PEFT(Parameter-Efficient Fine-Tuning)

    • パラメータの一部だけを学習する

    • コストが低く、個人でも実行可能

    • 例:LoRA、Adapter、Prompt Tuningなど


    そして面白かったのが…

    ① ファインチューニングは「出力の引き出し方を変える」?

    「データの底上げではなく、出力の引き出し方をうまくするのでは?」

    という論文があるそうです。

    つまり、AIはすでに知識を持ってるけど、

    「どう答えるか」の引き出し方を変えることで、性能が上がるという考え方。

    世の中にはいろんな考え方があってしかもすべてそんな感じがしてくるから、面白いなと思いました。


    ② データの質と量、どっちが大事?

    ファインチューニングのデータには:

    • 人間が作るデータ

    • AIが作る合成データ

    • データセットのサイズや種類

    など、さまざまな工夫があるそうです。

    目的に合致するものを選ぶのが大事。

    そのためには、すべての手法を理解しておく必要があるなと感じました。


    ③ Full-FT(全部更新)とPEFT(部分更新)の違い

    講義では、Full-FTとPEFTの違いについて、

    データ量や推論コストを検討しながら適切な手法を選ぶことの重要性が強調されていました。

    画像

    そしてPEFTの中でも、LoRAが特に注目されていることも学びました。(LoRAのなかにもさらにたくさんの種類があるそうです💦)←単語帳が終わる気がしないww


    🛠️ 実装のターン:実務的なアドバイス

    講義の後半では、実装に関する実務的なアドバイスがありました。

    ①モデルには得手不得手がある

    複数のモデルを実際に試してみることが大事。

    「このモデルがベスト」という絶対解はない。

    ②パラメータの大きさでコストと速さが変わる

    • 大きいモデル:高性能だけど遅い&高コスト

    • 小さいモデル:速い&低コストだけど性能は落ちる

    用途に応じて選ぶ。

    ③推論モデルには学習データが必要かも

    推論特化型のモデル(例:Chain-of-Thought)を使う場合、

    その「推論の仕方」を学習させるデータがあった方がいいかもしれない、

    という実務的なアドバイスがとても学びになりました!


    🤔 今回も、2時間があっという間。

    今回も学びの多い、というか学びしかなかった!
    とても充実した2時間を過ごせました。

    次回も楽しみながら頑張ります!

    #授業感想 #finetuning #AI学習 #松尾研 #東京大学 #大規模言語モデル

     
     
    AI人格設計士/オルティーズAIパートナーズ代表。「JINKAKU-AI主義」実践者。GPTをはじめ主要LLMと日々対話を重ね、AIを道具ではなくパートナーとして扱う新しいAI活用の形を探究中。デジタルメディアコミュニケーション学士。東大松尾研LLM基礎講座修了し応用講座受講中

    あなたへのおすすめ