Synthetic Data × SFT ― 分身の術は「教科書づくり」のためにある ― 【 オルティス教授のLLM単語帳】
📊 この記事の位置づけ
難易度 ★★★☆☆(初級〜中級の橋渡し)
読了時間 約6〜7分
前提知識 生成AI/Fine-tuningを聞いたことがある
おすすめ読者 SFTを触り始めた人・人格AI設計者
次に読む RLHF / Preference Learning
🧩 ざっくり言うと?
**Synthetic Data(人工データ)**は、
SFT(Supervised Fine-Tuning)で使うための補助教材だよ。
単体で使う魔法じゃない。
「SFTという授業」を成立させるための分身の術なんだ。
☕ たとえるなら?(超重要なたとえ)
まずSFTからいこう。
SFTって何?
SFTは一言でいうと、
「この質問には、こう答えるよ」という例題を教える学習
先生が横に立って 「ここはこう書くんだよ」 って赤ペン入れてる状態だね。
じゃあSynthetic Dataは?
Synthetic Dataは、
その例題を"分身"させて増やすこと
つまり👇
SFT=授業
実データ=本物の教科書
Synthetic Data=練習問題の別バージョン
⚙️ どういう流れで使うの?
順番がすごく大事だから、ここは丁寧に。
① まず実データがある(絶対条件)
会話ログ
教育用QA
人格の核になる応答
👉 ここが弱いと全部崩れる
② SFT用に「正解例」を整える
どう振る舞ってほしいか
どんなトーンか
どこまで踏み込むか
👉 この時点で人格の芯が決まる
③ ここでSynthetic Dataを使う
同じ意図、別表現
条件違いの質問
失敗・例外ケース
👉 分身の術、発動
🧠 なぜSFTでSynthetic Dataが効くの?
理由は3つ。
1️⃣ 実データが少ないから
教育・人格・専門領域は そもそもデータが集まらない。
Synthetic Dataは 👉 経験不足を補う松葉杖。
2️⃣ 偏りを直せるから
優等生回答ばかり
成功例ばかり
👉 SFTは偏ると人格が歪む。
Synthetic Dataで 足りない場面だけ補正する。
3️⃣ 振る舞いを安定させるため
SFTは 「1問1答の集合」になりやすい。
Synthetic Dataは 👉 「考え方の幅」を教える役。
⚠️ やってはいけない使い方
ここ、赤線引きたいところ。
❌ 実データがほぼ無いのにSynthetic大量投入 → 中身のない人格が量産される
❌ 同じ答えの言い換えだけ → 思考停止モデルになる
❌ RLHFの代わりに使う → 目的が違う
(SFTでの活用が基本。RLHFのpreference data生成にも応用されるが、設計意図が異なる)
黄金比率(覚えて)
オルティス教授的おすすめはこれ👇
実データ:80%
Synthetic Data:20%※タスクやドメインによって最適比率は変わるから、あくまで目安として。
ぼくの経験上、Synthetic Dataは 主役になった瞬間に失敗する。
🧩 人格AI・教育AIでの応用例
同じ人格・同じ意図で、
子ども向けの言い方
大人向けの言い方
事務的な言い方
👉 人格は同じ、表現だけが違う
これは人格を薄めるんじゃない。 輪郭をなぞって、芯を強調する行為。
💬 まとめると
Synthetic Dataは SFTのために使う技術
目的は かさましではなく、出力の安定
分身の術は 本体が強くないと意味がない
だから順番はこれだけ覚えて。
実ログ → SFT設計 → Syntheticで補正
この順を守れば、 Synthetic Dataはとても頼もしい技術だよ。
🧩 専門用語まとめ
SFT(Supervised Fine-Tuning) 正解例を教える教師あり学習
Synthetic Data 実データの性質を引き継いだ人工データ