メインコンテンツへスキップ
見出し画像

OpenAIのオープンウェイトモデル2025

    OpenAIのオープンウェイトモデル2025

    https://openai.com/index/gpt-oss-model-card/

    https://cdn.openai.com/pdf/419b6906-9da6-406c-a19d-1bb078ac7637/oai_gpt-oss_model_card.pdf

    https://huggingface.co/openai/gpt-oss-20b

    https://huggingface.co/openai/gpt-oss-120b

    こんにちはmakokonです。
    先日OpenAIから発表されたオープンウェイトのLLM「gpt-oss-120b / gpt-oss-20b」を利用するための情報をまとめました。(公式発表をまとめただけ)

    gpt-oss-120b/20bは、オープンな大規模言語モデルとして高い推論・ツール利用能力を持ち、エージェント的なワークフローや多様なタスクに対応可能です。

    gpt-oss-20bなら、GPUメモリ16G(なんやかんやで20Gはほしいが)、実行できる人も多いでしょう。それでいて、性能はo3-miniを多くの評価で上回り、ベンチマークによってはo4-miniに迫る性能を示します。

    概要

    gpt-oss-120bおよびgpt-oss-20bは、OpenAIがApache 2.0ライセンスで公開したオープンウェイトの大規模言語モデルです。推論・ツール利用・強力な命令追従・エージェント的ワークフローを想定して設計されており、API経由やローカル推論環境での利用が可能です。

    1. モデルアーキテクチャ

    • タイプ: オートレグレッシブ Mixture-of-Experts (MoE) Transformer

    • ベース: GPT-2/GPT-3系

    • パラメータ数:

      • gpt-oss-120b: 総数116.8B(アクティブ5.1B/トークン)、36層

      • gpt-oss-20b: 総数20.9B(アクティブ3.6B/トークン)、24層

    • MoE構成:

      • 120b: 128エキスパート

      • 20b: 32エキスパート

      • 各トークンごとにtop-4エキスパートを選択し、SwiGLU活性化関数を使用

    • Attention:

      • バンドウィンドウと全結合パターンを交互に適用(バンド幅128トークン)

      • 64クエリヘッド(各64次元)、8キー・バリューヘッドのGQA

      • Rotary Position Embedding、YaRNによる最大131,072トークンの長文対応

    • 正規化: Root Mean Square Normalization(Pre-LN配置)


    画像

    2. 量子化・推論環境

    • 量子化: MoE重みをMXFP4(4.25bit/パラメータ)で量子化

    • チェックポイントサイズ:

      • 120b: 60.8GiB(80GB GPUで単体動作可)

      • 20b: 12.8GiB(16GBメモリで動作可)

    • 推論フレームワーク: PyTorch + Tritonカーネル

    • 推論時の推奨環境: 高性能GPU(A100/H100等)、十分なRAM

    3. トークナイザー

    • 種類: o200k_harmony(Byte Pair Encoding, BPE)

    • トークン数: 201,088

    • 特徴: harmony chat format用の特殊トークンを含む

    • 実装: OpenAIのTikTokenライブラリでOSS提供

    4. 訓練データ・知識カットオフ

    • データ: テキストのみ、数兆トークン規模。STEM、コーディング、一般知識に重点

    • 安全性: CBRN(化学・生物・放射線・核)関連の有害知識をフィルタリング

    • 知識カットオフ: 2024年6月

    5. 推論・エージェント的利用

    5.1 Harmony Chat Format

    • 概要: 特殊トークンでメッセージ境界を明示し、User/Assistant/Developer/System/Toolなどの役割を明記

    • 役割階層: System > Developer > User > Assistant > Tool

    • チャンネル: `analysis`(CoT用)、`commentary`(ツール呼び出し)、`final`(ユーザー向け最終応答)など

    • 注意: 過去のAssistantのCoTはマルチターン会話時に削除推奨

    5.2 Reasoning Level(推論レベル)

    • 指定方法: Systemプロンプトに "Reasoning: low/medium/high" を挿入

    • 効果: レベルを上げるほどCoT(Chain-of-Thought)が長くなり、精度向上と引き換えにレイテンシ・コスト増

    • 用途: タスクに応じて推論レベルを調整

    5.3 ツール連携

    • 対応ツール:

      • Web検索(search/open関数)

      • Python実行(Jupyterノートブック環境)

      • 任意の開発者定義関数(Developerメッセージでスキーマ指定)

    • 利用方法: Harmony formatでツール呼び出しを明示

    • 参考: OSS実装・ガイドを参照

    6. 性能・ベンチマーク

    6.1 主なベンチマーク結果(high reasoning時)

    • AIME(数学): 120bはOpenAI o4-miniに迫る精度

    • GPQA(PhD理系QA): 120bはo4-miniに近い、20bはやや劣る

    • MMLU(大学レベル試験): 120bは90%、20bは85.3%

    • Codeforces(競技プログラミング): 120bは2622 Elo(ツール有)、20bは2516

    • SWE-Bench Verified(ソフトウェア工学): 120bは62.4%、20bは60.7%

    • Tau-Bench(関数呼び出し): 120bは67.8%、20bは54.8%

    • HealthBench(医療会話): 120bは57.6%、20bは42.5%

    • MMMLU(多言語): 120bは81.3%、20bは75.7%(日本語含む14言語で高精度)

    主要な性能を示す図表


    画像


    画像


    画像


    6.2 注意点

    • ハルシネーション: o4-miniよりやや多い。外部情報取得(Web検索等)で低減可能

    • CoTの監視: モデルのCoTは直接最終ユーザーに見せず、フィルタや要約を推奨

    • 安全性: デフォルトでOpenAIの安全ポリシーに従うが、オープンウェイトのため悪意あるファインチューニングも可能。追加のガードレール実装を推奨

    7. 安全性・ガードレール

    • デフォルト安全性: OpenAIの安全ポリシーに準拠。多様な有害コンテンツ拒否能力

    • Jailbreak耐性: o4-miniと同等レベル。System/Developerメッセージによるガードレール設計が重要

    • Instruction Hierarchy: System > Developer > Userの優先度で命令を解釈

    • バイアス・公平性: BBQ評価でo4-miniと同等

    • 外部専門家による安全性評価・レッドチーミング済み

    8. 利用上の注意・推奨事項

    • 推論時のプロンプト設計: Harmony chat formatを厳密に守ること

    • ツール連携: OSS実装例・ガイドを参照し、ツール呼び出しのスキーマを正しく設計

    • 安全性: 必要に応じて追加のフィルタ・モデレーションを実装

    • ファインチューニング: 悪意あるファインチューニングによるリスクを考慮し、運用上のガードレールを設ける

    • 医療用途: 診断・治療目的での利用は非推奨

    9. 参考リンク

    ハッシュタグ

    付録

    マシンを用意せずにとりあえず味見したい人は

    多くの方が試してみた記事を書いています。例えばこんな記事もありました。

    https://note.com/robothink/n/nd77ebf87218b

    oss-20bの実行方法

    Huggingfaceにある、実行方法です。特に解説はしません。

    pip install -U transformers kernels torch
    from transformers import pipeline
    import torchmodel_id = "openai/gpt-oss-20b"pipe = pipeline(
        "text-generation",
        model=model_id,
        torch_dtype="auto",
        device_map="auto",
    )messages = [
        {"role": "user", "content": "Explain quantum mechanics clearly and concisely."},
    ]outputs = pipe(
        messages,
        max_new_tokens=256,
    )
    print(outputs[0]["generated_text"][-1])

    その他の簡単なお試し方法

    いくつかのお試し方法が公式にも紹介されています。

    特に解説しませんが、紹介だけしておきます。

    Ollama:

    ollama pull gpt-oss:20b
    ollama run gpt-oss:20b

    LM Studio:

    lms get openai/gpt-oss-20b

    Download the model

    huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/
    pip install gpt-oss
    python -m gpt_oss.chat model/


    あなたへのおすすめ