
Azure AI Foundry ファインチューニングの最新情報:2025年7月
今月は、Azure AI Foundry’s Fine-tuning に多数のアップデートがありました。特に Evaluations suite からの新機能が充実しています。
ファインチューニング用の3つの評価機能「RFT Observability」「Quick Evals」「Python Grader」のパブリックプレビュー開始を発表します。また、Development Tier の一般提供(GA)も開始!
RFT Observability ("Auto-Evals")
RFT Observability とは
Reinforcement Finetuning (RFT) observability がパブリックプレビューとなり、RFTジョブに対してリアルタイムで詳細な可視化を実現します。評価(“auto-evals”)が自動的に実行され、各チェックポイントでのファインチューニング進行状況が確認できます。
What is RFT?
RFT (強化学習によるファインチューニング) は、リファレンスデータと照合した出力を reward model (grader) (報酬モデル)でスコアリングし、その結果を使ってモデル応答に報酬またはペナルティを与えます。これにより、モデルの推論方向や品質が望ましい結果へ誘導されます。
SFT(Supervised Fine-Tuning)に比べて、RFT では報酬シグナルがトレーニング中リアルタイムに組み込まれるという利点がありますが、SFTよりも遅くコストも高くなります。
従来はRFTの評価はトレーニング終了後のみ可能でした。そのため、誤ったgraderの選択や、予想外のモデル挙動(例:reward hacking)が発生した場合、大きな時間やコストの損失となるリスクがありました。
RFT Observabilityのメリット
今回のアップデートで、RFTの内部動作が分かりやすくなりました。RFTジョブ開始時、自動的に関連付けられたevaluation jobが作成されます。このevaluation jobでは、各checkpointごとにRFTの中間結果(promptとresponse)やgradeが可視化されます。
これにより、RFTジョブ実行中でも進捗をモニタリング・デバッグ・制御でき、コストや時間の損失を大幅に削減できます。
RFT Observabilityの利用場所
Azure AI Foundry の「Fine-tuning」ページに「Evaluation」という新しいセクションが「Details」内に追加されました。Customization methodが「Reinforcement」の場合に表示されます。
これはRFTジョブに自動で作成されるlinked evaluation jobです。
「View Report」 をクリックすると、evaluation jobページで各checkpointごとのgraderスコアを確認できます。

「Linked finetuning job」 をクリックすれば、RFTジョブの画面に戻ることができます。

また、RFTジョブの「Logs」からもevaluation jobへのリンクをたどり、Observabilityの進捗を追跡可能です。

Quick Evaluation (Quick Evals) for Stored Completions
Quick Evals とは
Quick Evaluation (Quick Evals) は、Stored Completions でモデル出力を迅速に評価できる機能です。パブリックプレビューとなりました。
ワンクリックでモデルのレスポンスを評価でき、従来のようなEvaluationフロー(テスト基準のカスタマイズやprompt/responseの準備)は不要です。
ユーザーは複数のモデル応答を比較・評価できます。各モデルごとに個別のrunを追加する必要もありません。Quick Evalsでは即座にスコアやハイライトが表示され、問題点を素早く発見できます。
Stored Completions インターフェイスから離れることなく、completionの品質をすぐに確認できるため、迅速な反復と検証に理想的です。


Python Grader for Evaluation
Python Grader とは
Python grader が Azure OpenAI Graders の新しい評価基準としてパブリックプレビューに追加されました。
Python grader は、ユーザーがカスタマイズしたPythonコードでモデル出力を自動的にスコアリングできるevaluation functionです。
例えば tool usage、構造、内容などモデルのresponseの特定部分をinspectし、ユーザー定義ロジックに基づき数値スコア(通常0〜1)を返します。
Python grader は、他のmodel-based graderや従来のgraderと組み合わせて、モデル出力の構造的かつプログラム的な評価を可能にします。


Development Tier in General Availability
Development Tier の一般提供開始
Developer Tier が一般提供(GA)となりました!今年の//Build(2025)でパブリックプレビューとして開始されて以来、すべてのAzure OpenAIリージョンで手頃な価格でfine-tuned model candidateのホスティングが可能になりました。
現在、Global Training(引き続きPublic Preview)とあわせて、AI Foundryのすべてのお客様は25以上のリージョンと全GPT-4.1シリーズモデルで、完全なtrain/testライフサイクルを利用できます。
多くのカスタマーがpre-productionワークロードを支えるdeployment typeを利用できるようになり、自信を持って新モデルをリリースできるようになっています。今後も「Developer Tier」体験に新機能を追加予定なので、ご期待ください。一般提供(GA)はゴールではありません!
利用方法は AI Foundry、Cognitive Services SDK、REST API 経由でご確認ください。
Learn More
▶️ 次回の Model Monday LIVE を [YouTube で予約] または [オンデマンドで視聴]
👩💻 [Azure AI Foundry Models を探検する]
👋 [Discord で会話を続ける]