メインコンテンツへスキップ
見出し画像

RL はいつファインチューニングの役に立つのか:構造化生成における難易度統制実験

    RLの使いどころは正直むずかしい

    原文:When Does RL Actually Help Fine-Tuning? A Difficulty-Controlled Study on Structured Generation(Microsoft Foundry Blog / Microsoft Tech Community)
    公開日:2026年8月5日

    最初に押さえておくべきポイント

    • 「RL はタスクが難しいときに効く」という経験則は方向としては正しいものの、どれくらい・どのフィールドで・事前にどう確かめるかを答えてくれません。原文はこの直感を、RL に投資する前に適用できる判断ルールへ変換しようとしています。

    • 統制されたテキスト→JSON の実験において、ターゲット属性がプロンプトに明示されている簡単な定式化では、SFT の後に GRPO を足しても +0.0111(絶対値)しか伸びませんでした。

    • 同じ属性を散文の中に隠し、推論と正規化を要求する難しい定式化では、重み付きスコアが 0.6983 → 0.7498、絶対値で +0.0515、相対でおよそ +7.4% 改善しました。

    • 伸びは Semantic-IoU(SIoU)で採点される属性フィールドに集中し、cosine で採点される自由記述フィールドの改善は小さいものでした。

    • 実務上の含意は、SFT 後のスコアが低いというだけでは RL を正当化できないということです。まず「SFT が本当に頭打ちか」「欠けている情報が入力から回収可能か」「報酬がシーケンスレベルで意味のある部分点を与えられるか」を確認する必要があります。

    • 実験は公開データ(Amazon Berkeley Objects, CC BY 4.0)の上で完全に再現可能で、評価グレーダーも全仕様が公開されています。

    • ただし原文は限界も明示しています。数値は 48 例の held-out サブセット・単一シードによるもので、有意性検定として扱っていません。math / code のような hard-verifiable な報酬で同じ関係が成り立つかは未検証です。


    落ち着かない問い:RL は本当に効いているのか

    強化学習(RL)は、現代のファインチューニングスタックにおける「仕上げの一手」として扱われがちです。まず SFT(supervised fine-tuning、教師ありファインチューニング)を回し、その後に GRPO / PPO / DPO といった RL を追加して、最後の数ポイントを絞り出す——という流れです。

    しかし実際のリターンは極端に一貫性がありません。本当に跳ねることもあれば、GPU 予算を燃やしただけで何も起きないこともあります。

    原文が問題視しているのは、「RL はタスクが難しいときに効く」という民間伝承(folk rule)の粒度の粗さです。方向としては正しいのですが、予算を組む根拠にするには曖昧すぎます。どれくらい効くのか、どのフィールドで効くのか、事前にどう検査すればよいのかが分かりません。

    そこで原文は、この直感を RL のランに踏み切る前に適用できる判断ルールへと変換することを目指しています。

    TL;DR(原文の要約)

    原文自身が冒頭で置いている要約は次の通りです。

    • 統制されたテキスト→JSON 実験において、ターゲット属性が明示的に与えられる素直な定式化では、GRPO は SFT のあとに絶対値で +0.0111 しか上乗せしませんでした。

    • 属性を散文から推論・正規化しなければならない難しい定式化では、重み付きスコアが 0.6983 から 0.7498 へ上昇(絶対値 +0.0515、相対でおよそ +7.4%)しました。

    • 最大の伸びは SIoU(Semantic-IoU)で採点される属性フィールドに現れ、cosine で採点される自由記述フィールドの改善は小さいものでした。

    • 実務的な持ち帰りは、SFT 後の性能が低いというだけでは RL を正当化するのに十分ではないということです。まず (1) SFT が頭打ちになっていること、(2) 欠けている情報が回収可能であること、(3) 報酬が意味のあるシーケンスレベルの部分点を与えられること、を確認します。

    • 公開データである ABO 上で完全に再現可能です。

    なお、Microsoft Learn は SFT と RFT(reinforcement fine-tuning)の使い分けについて、「SFT は問題の解き方が有限個に定まっているときに最も有効」であり、「RFT は問題を解く方法が多数あるときに最も有効」だと説明しています(Microsoft Learn: Microsoft Foundry fine-tuning considerations)。原文の実験は、この「解き方が有限か否か」に近い軸を、同一タスクの中で難易度ノブとして操作したものとして読めます。


    実験設計:ひとつのタスク、ふたつの難易度

    対象タスクは、エンタープライズのファインチューニング案件で非常に広く見られる型です。すなわち、半構造化された商品データを、固定された 8 フィールドの JSON オブジェクトへ変換するというものです。

    8 つのフィールドは 2 種類に分かれます。

    • 4 つは自由記述の編集用ディスクリプションで、cosine 類似度で採点されます。

    • 4 つは疎な属性リスト(category, color, material, style。スキーマ上は vibe, quick_semantic, trend_signals, overall_vibe といった推論型のタグとして現れます)で、Semantic-IoU(SIoU)、つまりファジーな集合重なりで採点されます。

    報告される指標は、この 8 つのフィールド別スコアの重み付き集約値です。

    GRPO は評価と同じ cosine / SIoU のスコアリング関数を使います。学習中は両アームとも同じ報酬シェーピング(しきい値のアニーリングとフィールド別の重み付け)を適用し、最終的なテスト報告では SIoU のしきい値を τ = 0.7 に固定し、フィールドの重みは均等にしています。

    2 つのアーム

    データセットには Amazon Berkeley Objects(ABO)(公開、CC BY 4.0)を、プロプライエタリな商品カタログの代役として使い、同一タスクの 2 つのアームを構築しています。

    • Easy(簡単) — ターゲット属性(productType / color / material)がプロンプトの中でモデルに手渡されているため、正解はコピー可能です。SFT は整形するだけで高スコアに到達でき、RL が付け加える余地はほとんどないはずです。

    • Hard(難しい) — 同じラベル行が散文の中に隠されています(情報自体は商品名や箇条書きの中に残っています)。したがって正解はコピーではなく、推論して正規化しなければ得られません。

    両アームは同じ Qwen3-32B をベースにし、まったく同一の SFT → GRPO 学習レシピを使います。LoRA 設定、学習率、サンプリング設定、報酬関数、報酬カリキュラム(しきい値アニーリング)、フィールド別の重み付け——すべて同じです。変わるのは、ターゲット属性がプロンプトに露出しているか、散文から推論しなければならないかだけです。

    学習セットとテストセットは商品単位で互いに素(disjoint)に分割されているため、報告されている伸びはモデルが学習時に見ていない held-out アイテム上で測られたものです。

    2 つのアームは同じ商品でどう見えるか

    原文は代表的なペアを画像で示しています。行はどちらも同じ商品で、構造化属性が露出しているかどうかだけが違います。

    • Easy(属性が露出、正解はコピー可能):正解のトークンがすべてすでにプロンプト内に現れているため、SFT は整形するだけで高スコアに届き、RL に足せるものはほとんど残りません。

    • Hard(同じ 3 つのラベル行が隠されている、正解は推論が必要):属性は依然として商品名の中に残っています("yellow gold"、"earrings" など)。したがってモデルは、ラベル付きフィールドをコピーするのではなく、散文から位置を特定して正規化しなければなりません。さらに自由記述の正解も言い換えられており、箇条書きをそのままコピーする近道も塞がれています。ここが SFT により多くの伸びしろを残し、GRPO がより大きな改善を生む場所です。


    主要な結果

    画像
    • Easy(属性が露出) — SFT: 0.8885 → SFT → GRPO: 0.8996 → 差分(絶対値): +0.0111。備考:SFT のあとの伸びは小さい。

    • Hard(属性が隠されている) — SFT: 0.6983 → SFT → GRPO: 0.7498 → 差分(絶対値): +0.0515(およそ +7.4% 相対)。備考:伸びが大きく、SIoU フィールドに集中している。

    ここから 2 つのことが読み取れます。

    第一に、観測される SFT の天井はタスクの定式化に強く依存するということです。属性を露出させると SFT は概ね「コピーして整形する」変換を学習でき、0.8885 に到達します。属性を隠すとコピーができなくなるため 0.6983 まで落ちます。

    第二に、GRPO の伸びは難しい定式化(+0.0515)のほうが簡単な定式化(+0.0111)よりずっと大きいということです。

    原文はパターンを一行でこうまとめています。伸びしろ(headroom)は必要条件ではあるが十分条件ではない——GRPO が最も効いたのは、SFT が「回収可能で推論を要するフィールド」の上で頭打ちになっており、かつタスクレベルの報酬が直接的な意味的クレジットを与えられた場合でした。この実験では、GRPO の伸びの大きさは SFT 後に残った伸びしろと強く関連しており、とりわけ推論志向のフィールドでその傾向が顕著でした。

    原文の Figure 1 は、GRPO 前後の重み付き held-out スコアを比較したもので、easy が絶対値 +0.0111、hard が絶対値 +0.0515(相対でおよそ +7.4%)改善したことを示しています。


    伸びはどこに現れたか:スコアではなくフィールドの「型」

    もしこのパターンが正しいなら、hard アームの伸びは推論を必要とする SIoU リストフィールドに集中し、すでに強い cosine フィールドにはあまり触れないはずです。実際にそうなっています。

    画像

    集約

    • weighted_overall — Easy: 0.8885 → 0.8996(Δ +0.0111)/Hard: 0.6983 → 0.7498(Δ +0.0515)

    この対比が重要です。hard アームでは、4 つの cosine 自由記述フィールドにも伸びしろがあります(rich_semantic 0.788、trend 0.819)。にもかかわらず、GRPO がそこで生んだ伸びはより小さく、一貫性も低いものでした(trend +0.039、quick_summary +0.024 など)。

    一方、SFT 後に 0.47〜0.67 の範囲にとどまっていた 4 つの SIoU 推論フィールドこそが、最大の伸びが着地した場所です。quick_semantic +0.105、vibe +0.101、trend_signals +0.061、overall_vibe +0.052。

    Figure 2 は、この「GRPO マイナス SFT」のフィールド別差分をプロットしたもので、hard アームでの最大の改善が SIoU で採点される属性フィールド、とりわけ quick_semantic と vibe に現れることを示しています。

    画像
    Figure 2

    なぜこうなるのか

    原文の説明はこうです。

    標準的な SFT は、1 つの参照出力に対するトークンレベルの尤度を最適化します。厳密な暗記を超えて汎化することはできますが、その目的関数は、下流の SIoU や cosine の指標に基づいてシーケンスレベルの部分点を直接割り当てるわけではありません。

    GRPO はこれに対し、サンプリングされた出力をタスクレベルのグレーダーで評価し、高いスコアを得た生成を強化します。これにより、生成されたシーケンスが参照の言い回しと異なっていても、意味的に正しい属性を回収するための直接的なシグナルが最適化器に与えられます。

    この実験では、GRPO の伸びは「欠けている情報が入力から回収可能であるにもかかわらず、トークンレベルの模倣ではうまく扱えない」場所——つまり hard アームの SIoU フィールド——に集中しました。

    Microsoft Foundry で一般提供されている RFT でも、この「タスクレベルの採点関数」にあたるのが grader(グレーダー) です。Learn は grader を報酬関数として位置づけ、文字列チェックやテキスト類似度による比較、モデルを判定者として使う model grader、決定論的なコードを実行する Python grader、複数のグレーダーを算術式で組み合わせる multigrader などの種類を挙げています(Microsoft Learn: Reinforcement fine-tuning)。原文の実験が使っている cosine / SIoU グレーダーは、この分類でいえば「決定論的にスコアを計算するカスタム報酬」に相当する設計です(ただし原文の学習自体は後述の通り別の API を使っています)。


    プリフライトチェック:そもそも RL を回すべきか

    原文の最も実務的なセクションがここです。RL が効くかどうかを見積もるために、RL を回す必要はありません。

    この実験で GRPO の伸びが「SFT が回収可能な伸びしろを残した場所」に集中したのであれば、短い SFT ベースラインの検査が判断材料になります。ただし罠があります。低スコアは必要条件であって十分条件ではありません。

    チェックは 3 つの安価なステップです。

    • 必ず SFT を先に回す。 RL は SFT の代替ではなく、その後に来るものです。したがって問いは決して「SFT か RL か」ではなく、「SFT のあと、さらに RL に金を使う価値があるか」です。SFT は比較的安価なので、先にやります。

    • SFT チェックポイントを held-out テストセット上でフィールド別に採点する(集約値だけを見ない)。これはほぼゼロコストです。推論を 1 パスと採点を回すだけです。

    • 低スコアのフィールドそれぞれに、下のチェックリストを当てる。

    RL を検討すべきとき

    原文の条件は次の通りです。SFT が本当に頭打ちになっており、重要なフィールドが目標を下回ったままで、欠けている情報が入力から回収可能で、サンプリングされた出力に意味のあるばらつきがあり、信頼できるタスクレベルの報酬が部分的な改善を区別できるとき、RL を検討します。

    この研究におけるその報酬は属性リスト上の SIoU ですが、原文はこれをこのタスクに対する具体的な選択であって、普遍的な要件ではないと明記しています。

    SFT 後の状態別チェックリスト

    原文の表を、行の対応を保ったまま箇条書きに展開します(SFT 後の状態 / 診断 / 推奨アクション)。

    • 集約スコアもフィールド別スコアもすでに目標近辺 — 診断:伸びしろが限られている — 推奨:SFT のまま維持し、RL はスキップする。

    • 重要なフィールドが低いままで、かつ情報は回収可能 — 診断:報酬クレジットのギャップの可能性 — 推奨:RL を検討する。

    • ラベルがノイジー、あるいは情報が回収不能なためにスコアが低い — 診断:データまたは報酬の問題 — 推奨:先にデータ/報酬を直す。

    • SFT の検証スコアがまだ改善している — 診断:SFT が収束していない — 推奨:SFT のチューニングを続ける。

    • 報酬がより良い出力を確実に区別できない — 診断:RL シグナルが弱い — 推奨:RL の前にグレーダーを改善する。

    要点は、低スコアだけでは不十分だということです。GRPO がここで効いたのは、欠けた情報が回収可能でかつタスクレベルの報酬が部分的な前進をクレジットできた場合に限られます。自由記述(cosine)のスコアが低いこと、ラベルがノイジーであること、SFT が収束していないことはそれぞれ別の問題であり、別の対処が要ります。GRPO がそれらを自動的に解決してくれると仮定してはいけません。

    この「事前に見積もる」という発想がコスト面で意味を持つ理由は、課金モデルの違いにもあります。Microsoft Learn によれば、SFT と DPO(preference fine-tuning)の学習料金は「学習ファイル内のトークン数とエポック数に基づいて課金」される一方、RFT は「モデルの学習に費やされた時間によってコストが決まる」とされ、さらに model grader を使う場合はグレーダーの推論トークンも加算されます。加えて RFT ジョブは高額になりうるため、ジョブごとの課金は $5,000 で上限が設けられ、そこに達すると学習は一時停止してデプロイ可能なチェックポイントが作成されると説明されています(Microsoft Learn: Fine-tuning cost management)。RL の投資判断を事前に検査したくなる理由は、まさにこの「時間課金」という性質にあります。

    Figure 3 は、探索的な散布図です。各点は「あるアームのあるフィールド 1 つ」を表し、x 軸はその SFT 後スコア(自分のチェックポイントでも検査可能な値)、y 軸はそのフィールドが受け取った GRPO の伸びです。色がアーム(オレンジ = hard、青 = easy)、形がフィールド型(円 = 推論 / SIoU、四角 = 自由記述 / cosine)を表します。この実験では、最大の伸びは低スコアの SIoU 属性フィールドの中に現れ、自由記述フィールドは観測されたスコア範囲全体で概して小さな伸びにとどまりました。原文はここに注記を添えており、伸びしろの大きさだけでも伸びと相関する(プール後の R² ≈ 0.74)ものの、「伸びしろだけを見る読み方」が見落とすのはフィールド型という軸だとしています。

    画像
    Figure 3

    前提条件:本当に SFT を出し切ったか

    この診断全体は、SFT 後のスコアが「本物の天井」を反映していることを前提にしています。学習不足のランではいけません。

    ここでハイパーパラメータが決定的に効いてきます。SFT のチューニングが甘いままだと、その「伸びしろ」は幻です。より良くチューニングした SFT なら遥かに少ない計算量で埋められたはずのギャップを、RL が埋めたように見えてしまいます。

    したがって、あるフィールドを「取り残されている(stranded)」と読む前に、SFT が収束していることを確認します。

    • プラトーまで学習してから測る。 held-out スコアが改善しなくなるまでエポック/ステップを進めます。検証カーブがまだ上昇しているなら、あなたが測っているのは伸びしろではなく未完了の SFT です。

    • 効くハイパーパラメータだけをスイープする — 学習率、エポック数、そして(LoRA なら)ランク。網羅的なグリッドは不要で、必要なのは「検証指標がこれらにもう敏感でない」という証拠です。

    • コピー可能なフィールドをサニティチェックする。 入力から直接コピーできる答えを持つフィールドは 1.0 近辺で飽和するはずです。それすら低いなら SFT が学習不足です。まずそれを直します。コピー可能な内容の回収は SFT の仕事であって、RL の仕事ではありません。

    Microsoft Learn も、Foundry のファインチューニングで調整可能な主要ハイパーパラメータとして batch_size、learning_rate_multiplier、n_epochs を挙げ、学習の見方について「loss が時間とともに減少し、accuracy が上昇することを確認する。学習データと検証データが乖離していくなら過学習の可能性があるので、エポック数を減らすか learning rate multiplier を小さくして試す」と案内しています(Microsoft Learn: Customize a model with fine-tuning)。原文が言う「プラトーまで学習してから測る」は、この一般的なガイダンスを、RL に進むかどうかの判断条件として使い直したものと読めます。

    この研究では、両アームが 1 つの SFT レシピ(Qwen3-32B、LoRA rank 32、lr 5e-4)を共有しており、それが飽和しうることを確認しています。easy アームでは 0.8885 に到達し、多くのテスト項目が正確に 1.0 となっています。これは、レシピが簡単な点数を取りこぼしていないことの直接的な証拠です。

    そして同一のレシピ(SFT・GRPO・報酬シェーピング)が両アームの下に敷かれているため、GRPO の伸びの差は学習セットアップの変更ではなく、タスクの難易度に帰属できることになります。


    何が言えて、何が未解決なのか

    原文はここを非常に慎重に書いています。日本語でも、強めたり弱めたりせずにそのまま伝えます。

    示していること(Shows)

    この実験では、GRPO の SFT 後の伸びは SFT 後に残った伸びしろと強く関連しており、とりわけ推論志向のフィールドでそれが顕著でした。easy な定式化では小さく(+0.0111)、hard な定式化ではより大きく(+0.0515)、そして SIoU 属性フィールドに集中していました。

    立証していないこと(Does not establish)

    • hard-verifiable な報酬(math、code)や他のタスクファミリーでも同じことがそのまま成り立つこと。

    • 正解ラベルはルール由来のシルバーラベルであり、人間の選好(human-preference)ターゲットではありません。

    • easy の +0.0111 は小さな伸びであり、報告されている数値は 48 例の held-out サブセット・単一シードによるものなので、原文はこれを有意性検定として扱っていません。

    • hard の +0.0515 はより大きく、予測されたフィールドレベルの構造に着地していますが、不確実性を定量化するには追加のシードとより大きなテストセットが必要です。

    交絡している要因(Confounded factors)

    原文は交絡も自ら挙げています。

    • この研究では、推論の必要性、出力フォーマット、グレーダーの種類が部分的に結合しています。隠された 4 つの属性フィールドはリスト値であり、かつ SIoU で採点されます。実験は有用な経験的パターンを特定しますが、これらの要因を完全に切り分けてはいません。

    • hard な定式化は、明示的な属性行を取り除くのに加えて、ターゲット出力との直接的な語彙の重なりも減らしています。つまり、単一の微小な難易度ノブ以上のものを変えています。

    • GRPO のレシピ(報酬カリキュラムとフィールド別重み)はより難しいタスク上でチューニングされ、両アームに変更なしで適用されています。固定することでアーム間比較はクリーンに保たれますが、easy アーム向けに独立に最適化されてはいません。


    次に何をするか

    原文が挙げる次の一手は 3 つです。

    • hard-verifiable な報酬(math-correctness、code-execution)へ拡張し、観測された「伸びしろ ↔ 伸び」の関係が他の報酬タイプでも成り立つかを検証する。原文はこれを最も重要な未解決問題としています。

    • 予測器(predictor)を探索する — SFT 後のフィールド別分布から GRPO の伸びを予測できるか。

    • 難易度の点をもっとスイープする(段階的な reveal-fraction)ことで、曲線全体を描く。


    公開データでの再現(CC BY 4.0)

    すべては公開データセット Amazon Berkeley Objects(Collins et al., CVPR 2022、abo-listings のテキストメタデータのみ)の上で動きます。プロプライエタリなデータ・チェックポイント・コードは不要です。

    原文は研究をエンドツーエンドで仕様化しており、評価が同じ cosine / SIoU グレーダー(しきい値 τ = 0.7 固定、フィールド重み均等)を使うため、モデルの予測結果の集合さえあれば、ファインチューニングへのアクセスが一切なくても主要な数値を検証できるとしています。プレビューが必要なのはモデルを再学習する部分だけです。

    1. データを取得する

    ABO の listings メタデータをダウンロードします(公開、認証情報不要)。

    aws s3 cp --no-sign-request --recursive s3://amazon-berkeley-objects/listings/ abo-listings/listings/

    2. 2 つのアームを構築する

    fashion のリスティングにフィルタし、各商品の実際の属性(brand, product_type, color, material, style, pattern, bullet points, keywords)を 8 フィールドの編集用 JSON へマッピングします。内訳は自由記述 4 フィールド + 属性リスト 4 フィールドです。

    両アームは product_id で揃えて構築し、難易度ノブだけで差をつけます。easy は productType / color / material の行をプロンプトに露出させ(正解はコピー可能)、hard はそのラベル行を隠し(語自体は商品名と箇条書きの中に残る)、自由記述の正解を言い換えてコピーの近道を塞ぎます。

    分割は product_id 単位で互いに素にし、4,800 / 600 / 600(train / val / test)とします。推論と採点のコストの都合上、この記事の数値は 600 例のテスト分割から取った固定の 48 例サブセット(seed 42)上で計算されており、すべてのチェックポイント(両アーム、SFT と GRPO)で同じサブセットが使われています。

    3. 数値を検証する(特別なアクセス不要)

    評価グレーダーは Appendix に完全に仕様化されています。4 つの自由記述フィールドに cosine 類似度、4 つのリストフィールドに SIoU(τ = 0.7 での埋め込み重なり、text-embedding-3-small)を使い、等重みで平均して weighted_overall にします。

    これを実装し、held-out テスト分割から取った固定 48 例の評価サブセット上で予測を採点すれば、Easy ≈ 0.89、Hard SFT ≈ 0.70 → GRPO ≈ 0.75 の小標本の範囲に収まるはずだ、と原文は書いています。

    4. 学習を再実行する(プレビューアクセスが必要)

    ファインチューニング自体は Interactive Post-Training API(現在 private preview)を使います。ベースモデル、SFT 設定、GRPO 設定、報酬シェーピングは両アームで同一で、変わるのはデータ(属性が露出しているか、推論が必要か)だけです。

    • SFT:Qwen3-32B LoRA r32、lr 5e-4、batch 32、1 epoch、学習例 4,800 件。

    • GRPO(SFT チェックポイントから開始):lr 2e-5、temperature 1.0、group_size 8、groups_per_batch 8、importance-sampling loss、64 steps、seed 42。両アームとも SIoU のしきい値を 0.5 → 0.7 へアニールし、推論型のリストフィールドを重み付けします(overall_vibe / trend_signals ×3、vibe ×2、quick_semantic ×1.5)。

    両方のチェックポイントを同じ評価グレーダー(τ = 0.7、等重み)で採点し、SFT と GRPO の差分を比較します。原文が強調している通り、これは公開データ上のカスタム報酬であり、プリセットのレシピではありません。


    結論(Bottom line)

    原文の締めくくりはこうです。

    まず SFT を回し、チューニングする。 そのうえで、集約スコアだけに頼らず、held-out の性能をフィールド別に検査する。

    コピーと整形で解けるタスクの上で SFT が飽和しているなら、RL が追加で提供する価値は小さいかもしれません。 逆に、重要で回収可能な属性が依然として難しく、かつ信頼できるタスクレベルの報酬が部分的な意味の改善を区別できるなら、RL はより有望な投資になります。

    そしてこの結果が確立しているのは、ひとつの構造化生成タスクにおけるそのパターンであり、math、code、選好最適化(preference optimization)、その他の報酬タイプへ一般化するかどうかの検証は今後の課題である、と原文は明記しています。


    付録:スコアリング指標

    ここで説明されているのが、この記事のすべてのテスト指標を報告するために使われた評価グレーダーです。8 つのフィールドはそれぞれ 2 つの関数のどちらかで [0, 1] のスコアを付けられ、その後 weighted_overall へ平均されます。

    学習時にはこれに加えて報酬シェーピング(しきい値アニーリングとフィールド別重み、両アームで同一)が適用されますが、ここで報告されている数値は固定の評価設定(τ = 0.7、等重み)を使っています。埋め込みはすべて text-embedding-3-small を使い、emb(·) は正規化された(小文字化・空白を畳んだ)文字列の埋め込みです。

    • cosine フィールド(quick_summary, rich_semantic, summary, trend)— 自由記述のディスクリプション。正解と予測はそれぞれ 1 つの文字列へ縮約され、埋め込みにして比較されます。

    原文は一行でこう要約しています。cosine フィールドが問うのは「その文は意味的に近いか」であり、SIoU フィールドが問うのは「2 つの属性集合は、同義語を許したうえでどれだけ重なるか」です。hard タスクの伸びしろはほとんど後者の問いの中にあり、そこがまさに GRPO が伸びを生んだ場所です。

    なお、この評価に使われている text-embedding-3-small は、Microsoft Foundry の Azure OpenAI 系エンドポイントから埋め込みを生成する際に例示されているモデルでもあります(Microsoft Learn: Generate embeddings with Azure OpenAI)。グレーダーを自前で再実装して数値を検証する場合、埋め込みモデルの選択が SIoU のしきい値 τ = 0.7 の意味を変えてしまう点には注意が必要です(原文は text-embedding-3-small を前提に τ = 0.7 を固定しています)。


    参考文献とライセンス

    この研究は Amazon Berkeley Objects(ABO) データセット(Collins et al., ABO: Dataset and Benchmarks for Real-World 3D Object Understanding, CVPR 2022, arXiv:2110.06199)を使用しています。データは © Amazon.com、CC BY 4.0(https://creativecommons.org/licenses/by/4.0/)のもとで利用されています。使用しているのは abo-listings のテキストメタデータのサブセットのみ(3D アセットは含まない)で、それを上記のテキスト→JSON タスクへ再構成・翻案したものです。


    本記事は Microsoft Tech Community / Microsoft Foundry Blog の原文「When Does RL Actually Help Fine-Tuning? A Difficulty-Controlled Study on Structured Generation」に忠実な日本語訳・解説であり、読者の理解を助けるために Microsoft Learn の公式ドキュメントによる補足(出典リンク付き)を本文中に織り込んでいます。数値・モデル名・設定値・結論の限界はすべて原文に準拠しています。

     
     
    AIの進化に日々圧倒されてる@microsoft | AI Global Black Belt | Azure Quantum Ambassadors @MSFTQuantum | 全部個人的感想 |

    あなたへのおすすめ