メインコンテンツへスキップ
見出し画像

Microsoft Foundry SDK を使った DPO ファインチューニング

    モデル性能自体上がってるから、ファインチューニングの使いどころが重要

    大規模言語モデル(LLM)が急速に進化する状況において、品質を維持しながらモデルの挙動を精密に制御することは重大な課題になっています。GPT-4 のようなモデルは印象的な能力を示しますが、その出力が人間の嗜好—安全性、有用性、あるいはスタイル—に合致することを保証するには、高度なファインチューニング技術が必要です。Direct Preference Optimization(DPO)は、このアラインメント(整合)プロセスを簡素化しつつ優れた結果を提供する画期的なアプローチです。

    この包括的なガイドでは、DPO ファインチューニングを取り上げ、それが何であり、どのように動作し、いつ使うべきか、そして Microsoft Foundry SDK を使ってどのように実装するかを説明します。一貫して役に立つカスタマーサービス・チャットボットを構築する場合でも、有害な出力を避けるべきコンテンツ生成システムを構築する場合でも、あるいは応答品質が重要なあらゆる AI アプリケーションにおいても、DPO を理解することで、より良く整合したモデルを作れるようになります。

    Direct Preference Optimization (DPO) とは?

    Direct Preference Optimization は、従来の Reinforcement Learning from Human Feedback(RLHF)の複雑さなしに、人間の嗜好に合わせて言語モデルを学習させるための革新的な手法です。Rafailov, Sharma,… による画期的な論文「Direct Preference Optimization: Your Language Model is Secretly a Reward Model」で紹介され、DPO は、モデルに好ましい出力を生成させる教え方を根本から再構築します。

    従来の教師ありファインチューニングがモデルに「何を言うべきか」を見せるのに対し、DPO は比較例を見せてモデルを学習させます。つまり「この応答は、あの応答より良い」という形です。各プロンプトに対して、次を提供します。

    • 好ましい応答:高品質で望ましい出力

    • 好ましくない応答:低品質または望ましくない出力

    画像

    モデルは、好ましい応答を生成する尤度を高め、好ましくない応答の確率を下げることを学習します。しかも、明示的な報酬モデルや複雑な強化学習パイプラインを必要としません。

    DPO の最適なユースケース

    • 応答品質と正確性の改善

    • 読解と要約

    • 安全性と有害性の低減

    • スタイル、トーン、ブランドボイスの整合

    • 有用性とユーザー嗜好の最適化

    Direct Preference Optimization の仕組み

    以下のコードは、Microsoft Foundry Projects SDK を使用した DPO ファインチューニングを示します。

    import os
    from dotenv import load_dotenv
    from azure.identity import DefaultAzureCredential
    from azure.ai.projects import AIProjectClient
    
    # Load environment variables
    load_dotenv()
    
    endpoint = os.environ.get("AZURE_AI_PROJECT_ENDPOINT")
    model_name = os.environ.get("MODEL_NAME")
    
    # Define dataset file paths
    training_file_path = "training.jsonl"
    validation_file_path = "validation.jsonl"
    
    credential = DefaultAzureCredential()
    project_client = AIProjectClient(endpoint=endpoint, credential=credential)
    openai_client = project_client.get_openai_client()
    
    # Upload training and validation files
    with open(training_file_path, "rb") as f:
        train_file = openai_client.files.create(file=f, purpose="fine-tune")
    
    with open(validation_file_path, "rb") as f:
        validation_file = openai_client.files.create(file=f, purpose="fine-tune")
    
    openai_client.files.wait_for_processing(train_file.id)
    openai_client.files.wait_for_processing(validation_file.id)
    
    # Create DPO Fine Tuning job
    fine_tuning_job = openai_client.fine_tuning.jobs.create(
        training_file=train_file.id,
        validation_file=validation_file.id,
        model=model_name,
        method={
            "type": "dpo",
            "dpo": {
                "hyperparameters": {
                    "n_epochs": 3,
                    "batch_size": 1,
                    "learning_rate_multiplier": 1.0
                }
            }
        },
        extra_body={"trainingType": "GlobalStandard"}
    )
    

    DPO ファインチューニング結果

    print(f"Testing fine-tuned model via deployment: {deployment_name}")
    
    response = openai_client.responses.create(
        model=deployment_name,
        input=[{"role": "user", "content": "Explain machine learning in simple terms."}]
    )
    
    print(f"Model response: {response.output_text}")
    

    推論結果:

    Model response: Machine learning is like teaching a computer to learn from experience, similar to how people do. Instead of programming specific instructions for every task, we give the computer a lot of data and it figures out patterns on its own. Then, it can use what it learned to make decisions or predictions. For example, if you show a machine learning system lots of pictures of cats and dogs, it will learn to recognize which is which by itself.
    

    データ形式の例

    {
      "input": {
        "messages": [
          {"role": "system", "content": "You are a helpful assistant."},
          {"role": "user", "content": "What is the capital of France?"}
        ]
      },
      "preferred_output": [
        {"role": "assistant", "content": "The capital of France is Paris."}
      ],
      "non_preferred_output": [
        {"role": "assistant", "content": "I think it's London."}
      ]
    }
    

    DPO・SFT・RFT の比較

    学習シグナルの違い

    DPO(Direct Preference Optimization) は、「どちらの出力がより好ましいか」という比較による嗜好データを学習シグナルとして使用します。モデルは、2つの応答のうちどちらを優先すべきかを学習します。

    SFT(Supervised Fine-Tuning) は、従来型の教師あり学習です。明確な入力と正解出力のペアを与え、その通りに生成できるように学習します。

    RFT(Reinforcement Fine-Tuning) は、探索しながら報酬によって学習する方式です。出力に対して段階的な評価(グレード)を与え、そのスコアをもとに最適化します。


    必要なデータの違い

    DPO では、「好ましい出力」と「好ましくない出力」の嗜好ペアデータが必要です。

    SFT では、正解例となる**模範解答データ(デモンストレーション)**が必要になります。

    RFT では、問題に加えてそれを評価する採点者(グレーダー)や報酬モデルが必要になります。


    それぞれが最適な用途

    DPO は、モデルの出力品質を人間の期待に沿わせる品質アラインメントに最適です。

    SFT は、新しいタスクを学習させるようなタスク学習に適しています。

    RFT は、試行錯誤や多段階推論を伴う複雑な推論タスクに向いています。


    計算コストの違い

    DPO の計算コストは中程度です。RLHF よりは軽量ですが、SFT よりは計算負荷が高くなります。

    SFT は比較的単純な教師あり学習のため、低コストです。

    RFT は探索や報酬計算が必要なため、高コストになります。

    さらに興味ある方向け

     
     
    AIの進化に日々圧倒されてる@microsoft | AI Global Black Belt | Azure Quantum Ambassadors @MSFTQuantum | 全部個人的感想 |

    あなたへのおすすめ