
Azure OpenAI Service における Stored Completions を活用したコード ファーストの蒸留 (Distillation)
AI - Machine Learning Blog が良かったのでまとめてみた。
モデル蒸留とはという方向けのコンセプト動画も展開されてたので日本語訳つけてみました。
Azure OpenAI Service における Stored Completions を活用した 蒸留 (Distillation) のコンセプト動画
— daka | Microsoft | AI (@daiki15036604) March 3, 2025
モデル蒸留ってなに?って方向け 🤗 pic.twitter.com/FEDJQ601Hl
🚀この記事のポイント
モデル蒸留プロセスを構成する 3 つの要素
Stored Completions: GPT-4o などのモデルからの入出力ペアを保存し、データセットを生成
Evaluation: Stored Completions や既存のデータセットからカスタム評価を作成し、モデル性能を測定
Fine-tuning: 収集したデータを使って Azure OpenAI のファインチューニングを実行
新しい Stored Completions API で操作可能
API と SDK 利用のメリット
柔軟性: プログラムからデータを取得・更新・削除できる
効率性: 自動化されたデータセット生成や既存の開発ワークフローへの統合が容易
制御力: メタデータ更新や不要データの削除でデータセットを常に最適な状態に保つ
コードファーストでの蒸留フローが実現
UI だけでなく、API と SDK でワークフローを拡張可能
評価やファインチューニングに必要なデータを効率的に管理し、質の高いデータセットを生成
今後の展望
Azure OpenAI Service の機能をさらに拡張し、開発者のイノベーションを支援
Stored Completions を活用し、モデルの精度と学習効率を高める取り組みが進展
私たちは Azure OpenAI Service での Stored Completions API と SDK のパブリックプレビューリリースを発表できることをとても嬉しく思う
最近の Azure OpenAI Service における拡張された蒸留とファインチューニング機能の発表に続き、私たちは Stored Completions をコードで操作するための新しい API 機能と SDK エクスペリエンスを紹介する
以前は何をサポートしていたか
モデルの蒸留は、大きく複雑なモデルの出力を使ってより小さく効率的なモデルをファインチューニングすることを可能にする
この手法により、小さなモデルが特定のタスクにおいて同等の性能を発揮しながら、コストとレイテンシを大幅に削減できる
Azure OpenAI Service の蒸留は以下の 3 つの主要コンポーネントを含む
Stored Completions: GPT-4o などのモデルからの入力と出力のペアをキャプチャして保存し、評価やファインチューニング用のデータセットを生成する
この機能は、事前定義された基準に基づいてデータをレビュー、フィルタリング、エクスポートするためのインターフェースを提供するEvaluation: Stored Completions や既存のデータセットからのデータを使ってモデルの性能を測定するカスタム評価を作成・実行する
Evaluation のエクスペリエンスは、UI ベースのアプローチでデータをスコアリングする手段を提供するFine-tuning: Stored Completions と Evaluation を Azure OpenAI のファインチューニングに統合する
Stored Completions からのデータセットをファインチューニングジョブで使用し、ファインチューニングされたモデルに対して評価を実行する
これらを組み合わせることで総合的な蒸留プロセスが形成される
ライブトラフィックを収集し、Stored Completions UI でフィルタリングやサブセット化を行い、エクスポートして Evaluation UI で品質スコアを付け、その収集データからファインチューニングを行う流れを構築する
新しい点は何か
Stored Completions の UI 提供に加えて、私たちは Azure OpenAI Service におけるエンドツーエンドの蒸留フローに対してコードファーストのアプローチを新たに提供する
今回、以下のような Stored Completions API を導入する
指定した ID の stored completion を取得: GET /chat/completions/:id
stored completion のメッセージを取得: GET /chat/completions/:id/messages
stored completion の一覧を取得: GET /chat/completions
stored completion のメタデータを更新: POST /chat/completions/:id
指定した ID の stored completion を削除: DELETE /chat/completions/:id
これらの新機能により、開発者はデータとモデルを蒸留プロセス内でより柔軟かつ制御しやすい形で活用できる

Stored Completions API と SDK を活用して効率と制御を最大化する
API と SDK を使って stored completion を取得、更新、削除することには、開発者にとって柔軟性、効率性、制御の向上という価値がある
Stored Completions の UI は、事前定義された基準に基づいてデータをレビュー、フィルタリング、エクスポートするためのインターフェースを提供する
新しい API は stored completion の取得に加えて、更新と削除の機能もサポートする
Stored Completions の取得: API と SDK を使って stored completion にプログラム的にアクセスできるため、開発者はワークフローにシームレスに統合できる
これは自動化されたデータセット生成に特に有用で、トレーニングに常に最新かつ関連性の高いデータを使用できるStored Completions の更新: API と SDK を使って stored completion のメタデータや他の属性を更新することで、正確かつ整理されたデータセットを維持できる
これは、モデルのより良い評価やファインチューニングのためにデータを洗練するのに役立つStored Completions の削除: もう必要ない stored completion を削除できるため、データセットをクリーンで管理しやすい状態に保てる
これはデータの品質や関連性を維持するうえで重要
総合的に、API と SDK は stored completion の管理効率を高め、高品質のデータセットを作成・更新・維持するうえで開発者が活用しやすい手段を提供する
Stored Completions API と SDK の使用を始める
下記は stored completion のリストを取得する API 呼び出しの例
リクエストとレスポンス例

SDK を使い始めるには以下のステップを踏む
SDK をインストールする
API とやり取りするクライアント インスタンスを初期化する
stored completion とやり取りするために API を呼び出す
下記は SDK の使い方の一例

まとめ
Azure OpenAI Service における Stored Completions API と SDK の導入は、私たちのプラットフォームの機能を強化する上で大きなマイルストーンとなる
これらの新機能により、開発者はデータとモデルをより柔軟かつ効率的に制御でき、高品質なデータセットをスムーズに作成できる
私たちはお客様がこれらの新機能を活用してイノベーションを促進し、目標を達成していく様子を楽しみにしている
さらなるアップデートにご注目いただき、ハッピーコーディング
詳しく知りたい場合
How to use Azure OpenAI Service Stored Completions and Distillation