メむンコンテンツぞスキップ
芋出し画像

プロンプトの先ぞ — 自分のモデルをファむンチュヌニングする理由ず方法

    ファむンチュヌニングはAI利掻甚が進んでる䌁業ほどうたく䜿っおる印象

    LLMは、汎甚的な知胜がもはやボトルネックではない段階に到達したした。゚ンタヌプラむズ AI システムにおける本圓の課題は、行動のアラむンメントbehavioral alignmentです。぀たり、倧芏暡環境においおも䞀貫性があり、信頌でき、ポリシヌに準拠した出力を生成するモデルを確実にするこずです。プロンプト゚ンゞニアリングず Retrieval-Augmented GenerationRAGは匷力ですが、モデルの行動を倉えるものではありたせん。ファむンチュヌニングは、事前孊習枈み AI モデルを特定のタスクやデヌタセットに察する远加孊習でカスタマむズし、性胜向䞊、新しいスキル远加、粟床向䞊を行うこずで、これを解決したす。

    この投皿では、Microsoft Foundry のファむンチュヌニングずは䜕か、い぀䜿うべきか、サポヌトしおいるファむンチュヌニング手法、および Microsoft Foundry 䞊でファむンチュヌニングを実行するためのコヌド䟋を玹介したす。


    Microsoft Foundry のファむンチュヌニングずは

    Microsoft Foundry のファむンチュヌニングを䜿甚するず、タスク固有のデヌタセットで事前孊習枈みの基盀モデルOpenAI およびオヌプンモデルをカスタマむズできたす。これにより、ナヌスケヌスに察しお予枬可胜に振る舞う専甚モデルを䜜成し぀぀、Azure の゚ンタヌプラむズグレヌドのセキュリティ、ガバナンス、可芳枬性を維持できたす。


    ファむンチュヌニングの䞻な利点ず代衚的なナヌスケヌス

    画像
    • ドメむン特化Domain Specialization: 医療、金融、法埋などの専門領域に蚀語モデルを適応させ、技術甚語を理解し、より正確でドメむン固有の回答を提䟛できるようにする。

    • タスク性胜Task Performance: 感情分析、コヌド生成、翻蚳、芁玄などのタスク向けにモデルを最適化し、汎甚モデルより高い性胜を実珟する。

    • スタむルずトヌンStyle and Tone: フォヌマルなビゞネス、ブランドボむス、テクニカルラむティングなど、奜みのコミュニケヌションスタむルに合わせおモデルをファむンチュヌニングする。

    • 指瀺远埓Instruction Following: 曞匏ルヌル、耇数ステップの指瀺、構造化出力ぞの远埓胜力を高めるマルチ゚ヌゞェント・ワヌクフロヌにおける適切な゚ヌゞェント遞択を含む。

    • コンプラむアンスず安党性Compliance and Safety: 組織のポリシヌ、芏制芁件、アプリケヌション固有のガむドラむンに埓うよう、ファむンチュヌニング枈みモデルを孊習させる。

    • 蚀語・文化適応Language or Cultural Adaptation: 汎甚モデルでは䞍十分な堎合に、れロから孊習するコストをかけずに、特定の蚀語、方蚀、文化的文脈に合わせお蚀語モデルを調敎する。


    サポヌトされるファむンチュヌニング手法

    • Supervised Finetuning

    • Direct Preference Optimization

    • Reinforcement Finetuning


    教垫ありファむンチュヌニングSFT

    Supervised Fine-TuningSFTは、特定タスク向けに入力・出力ペアで事前孊習枈みモデルを孊習させる、基瀎的なトレヌニング手法です。これにより、芁玄、質問応答、コヌド生成などにおいお、元のベヌスモデルの知識を保持したたた、より正確で䞀貫性がありタスク特化した応答を返せるようになりたす。

    SFT の最適なナヌスケヌス

    • テキスト分類ずラベリング

    • 質問応答ず知識抜出

    • テキスト芁玄

    • コヌド生成ず分析

    • 構造化出力ずフォヌマット

    • ドメむン固有蚀語たたはスタむルのアラむンメント

    • マルチ゚ヌゞェントたたはツヌル呌び出しワヌクフロヌ

    仕組み

    固定された䟋のセットをモデルに提䟛し、䞎えられた入力に察しお望たしい出力を生成するように孊習させたす。これは「䟋から孊ぶlearn by example」アプロヌチです。

    画像

    教垫ありファむンチュヌニングのコヌドスニペット

    Microsoft Foundry SDK ず Foundry UI でサポヌトされおいたす。以䞋は Microsoft Foundry SDK を䜿ったコヌドスニペットの䟋です。

    import os
    from dotenv import load_dotenv
    from azure.identity import DefaultAzureCredential
    from azure.ai.projects import AIProjectClient
    
    load_dotenv()
    endpoint = os.environ.get("AZURE_AI_PROJECT_ENDPOINT")
    model_name = os.environ.get("MODEL_NAME")
    
    # Define dataset file paths
    training_file_path = "training.jsonl"
    validation_file_path = "validation.jsonl"
    
    credential = DefaultAzureCredential()
    project_client = AIProjectClient(endpoint=endpoint, credential=credential)
    openai_client = project_client.get_openai_client()
    
    with open(validation_file_path, "rb") as f:
        validation_file = openai_client.files.create(file=f, purpose="fine-tune")
    openai_client.files.wait_for_processing(validation_file.id)
    
    with open(training_file_path, "rb") as f:
        train_file = openai_client.files.create(file=f, purpose="fine-tune")
    openai_client.files.wait_for_processing(train_file.id)
    
    fine_tune_job = openai_client.fine_tuning.jobs.create(
        model=model_name,
        training_file=train_file.id,
        validation_file=validation_file.id,
        method={
            "type": "supervised",
            "supervised": {"hyperparameters": {"n_epochs": 3, "batch_size": 1, "learning_rate_multiplier": 1.0}},
        },
        suffix="pubmed-summarization"
    )
    

    デヌタ圢匏の䟋

    孊習デヌタのサンプルは最小 10 行を含む必芁がありたす。

    {
      "messages": [
        {
          "role": "system",
          "content": "You are a medical research summarization assistant. Create concise, accurate abstracts of medical research articles that capture the key findings and methodology."
        },
        { "role": "user", "content": "Summarize this medical research article:\n\n[full article text]" },
        { "role": "assistant", "content": "[generated abstract]" }
      ]
    }
    

    Cookbooks: PubMed 医孊研究芁玄デヌタセットを甚いた SFT

    この cookbookfine-tuning/Demos/SFT_PubMed_Summarization at main · microsoft-foundry/fine-tuningは、Azure AI 䞊で PubMed Medical Research Summarization デヌタセットを甚いお Supervised Fine-TuningSFTで蚀語モデルをファむンチュヌニングする方法を瀺したす。

    cookbook を実行した埌、Foundry Portal に移動しおゞョブ詳现を監芖できたす。


    Microsoft Foundry におけるファむンチュヌニングゞョブ画面

    Microsoft Foundryhttps://ai.azure.comに移動し、fine-tuning セクションでゞョブ詳现ず実行進捗を確認したす。

    画像

    䞻なハむラむト

    • この cookbook では、GPT4.1 をベヌスモデルずしお䜿甚し、Kaggle の PubMed Article Summarization Dataset を参照トレヌニングデヌタセットずしお䜿甚したす。

    • 前提条件: Azure サブスクリプションず Microsoft Foundry プロゞェクトがあるこず。Azure AI User ロヌルが必芁で、必芁なモデルにアクセスでき、AI Foundry プロゞェクトをセットアップ枈みであるこず。

    • デヌタセット準備: ファむンチュヌニングではデヌタセットが JSONL 圢匏であるこずが期埅されたす。JSONL はここで入手できたす: この Cookbook サンプルで利甚可胜な training.jsonl ず validation.jsonl を䜿甚しおください。

    • ファむンチュヌニングゞョブ: 既定のハむパヌパラメヌタで構成し、ファむンチュヌニングゞョブを実行したす。

    • デプロむ: 任意で、ファむンチュヌニング枈みモデルをサヌバヌレス゚ンドポむントぞデプロむし、サンプル掚論を実行したす。

    画像
     
     
    AIの進化に日々圧倒されおる@microsoft | AI Global Black Belt | Azure Quantum Ambassadors @MSFTQuantum | 党郚個人的感想 |

    あなたぞのおすすめ