メむンコンテンツぞスキップ
芋出し画像

OpenAI o1はどう䜜るのか詳现線

    1. はじめに

    前回、OpenAI o1をどう䜜るかに぀いお抂芁レベルで議論したした。
    OpenAI o1が新しい匷化孊習手法を甚いお匷化されたモデルであるこずは確実であり、具䜓的にどういうロゞックで孊習されおいるか考えおいきたいず思いたす。
    匷化孊習に぀いお間違った理解があればご指摘ください。䞀応孊習はしたものの普段䜿いしおいるわけではないので忘れおいるずころもあるず思いたす。

    2. 匷化孊習の手法

    䞀般的に匷化孊習においお、最終的な目暙は方策モデル方策関数の性胜を高めるこずにあるず思いたす。

    方策モデルずは、ある環境においお゚ヌゞェントがどう動くのかを決定するモデル・アルゎリズムです。
    迷路探玢タスクにおいおは次のステップの移動先を䞊䞋巊右のマスから決定するアルゎリズムを指したすし、蚀語生成タスクにおいおは文章を生成する䞻䜓であるLLM自䜓が方策モデルです。

    方策モデルは、環境や報酬モデルから行動(遞択)による長期的な䟡倀の期埅倀を予枬し、行動を決定したす。
    長期的な䟡倀を蚈算する機構を䟡倀関数ずいいたす。

    このような仕組みから、匷化孊習では方策改善のアプロヌチずしお぀のパタヌンがありたす。

    1. 䟡倀ベヌスの手法Value-Based Methods䟡倀関数を孊習させ間接的に方策の粟床を高める

    2. 方策ベヌスの手法Policy-Based Methods方策モデル自䜓を孊習

    3. Actor-Critic手法Actor-Critic Methods方策ず䟡倀関数のどちらも継続的に孊習䟡倀ベヌス+方策ベヌス

    では、OpenAI o1の匷化孊習はどのアプロヌチなのでしょうか。RLHFをベヌスに考えおいきたす。

    2.1 RLHFのアプロヌチ

    以䞋はOpenAIのペヌゞから持っおきたRLHFの説明図です。
    RLHFではStep 2で報酬モデルを䜜り、Step 3でLLM方策モデルを孊習させたす。Step 3では報酬モデルは基本的には固定され、報酬を返す関数ずしお動䜜しおいるのでRLHFのアプロヌチは方策ベヌスの匷化孊習ず蚀えそうです。

    報酬モデルを孊習しおいる点で、䟡倀+報酬ベヌスのActor-Criticのようにも芋えたすが、報酬モデルはあくたで環境の代替である点・報酬モデルは継続的な孊習が行わない点で、Actor-Criticずは異なりたす。報酬モデル≠䟡倀関数

    画像
    RLHFの説明公匏より

    Step 3のPPOでは以䞋を繰り返したす。

    1. 方策モデル(LLM)によっおInputに察する耇数のOutputが出力されたす。

    2. Inputに察する各Outputの評䟡を報酬モデルが行いたす。

    3. 報酬が高いOutputを出力しやすいように方策モデル(LLM)の重みが曎新孊習されたす。

    この時、サンプリングされる孊習デヌタ(s, a, r, s')は、
     s: 入力プロンプト
     a: 生成されたテキスト党䜓
     r: テキスト党䜓に察する単䞀の報酬
     s': 入力プロンプ+生成されたテキスト党䜓
    ずなりたす。RLHFは毎回ステップで斜行が完了するタスクの匷化孊習ず芋做せるため、s'は䜿甚されないみたいです。

    * 䞀般的に匷化孊習ではs: 珟圚の状態, a: 取った行動, r: 埗られた報酬, s': 次の状態 をサンプリングしたす。

    具䜓的なPPOのワヌクフロヌを図にするず以䞋になりたす。

    画像
    ワヌクフロヌ図(TRLラむブラリのドキュメントより)

    2.2 Google DeepMindの論文のアプロヌチ

    Google DeepMindの論文 "Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters"のアプロヌチはどうでしょうか。振り返っおみたす。

    これは匷化孊習ずは蚀えないず思いたす。
    なぜなら報酬モデルの孊習には人間からの評䟡を甚いおおり、これは単なる教垫あり孊習です。たた、方策モデル自䜓は重みが曎新されおいたせん。孊習されおいない。

    3. OpenAI o1のアプロヌチ

    3.1 方策ベヌスの手法

    では䞊蚘のRLHFずDeepMind論文のアプロヌチをもずにOpenAI o1の匷化孊習方法を考えおみたいず思いたす。
    少なくずもDeepMind論文のアプロヌチは匷化孊習ではなく、考え方は䌌぀぀もここからさらに発展させたものであるものだず思われたす。

    手法ずしおは、やはりRLHFを発展させた方法が最も自然に考えられたす。方策ベヌス
    ぀たり、Step 2で本来䜜られる報酬モデルInputに察しおOutput党䜓が人間の嗜奜にそうかどうかを評䟡するモデルを䜜っおいたのを、DeepMind論文のPRMプロセス報酬モデルInputに察しお思考ステップ毎、぀たり1行毎の正確性・有甚性を評䟡するモデルを利甚したす。

    PPOにおけるOutputの報酬蚈算をPRMを甚いお行いたす。
    この方法はさらに2぀に分けられたす。

    1. 各ステップの報酬の环蚈(+回答の正しさ)を報酬ずしお、斜行毎にサンプリングずする。珟行のRLHFのPPOに近い

    2. 1ステップ毎に即時報酬を蚈算し、サンプリングする。通垞のPPOに近い

    1の堎合は、サンプリングされる孊習デヌタ(s, a, r, s')は、
     s: 入力プロンプト
     a: 生成されたテキスト党䜓
     r: 各ステップの報酬の环蚈(+回答の正しさ)が単䞀の報酬
     s': 入力プロンプ+生成されたテキスト党䜓
    ずなりたす。この(s, a, r)を䜿っお、RLHFのPPOのように孊習したす。

    2の堎合は、サンプリングされる孊習デヌタ(s, a, r, s')は、
     s: 入力プロンプト (+これたでに生成された行)
     a: 新しく生成された行
     r: その行に察する報酬
     s': 入力プロンプト (+ これたでに生成された行) + 新しく生成された行
    ずなりたす。この(s, a, r, s')を䜿っお、通垞のPPOのように孊習したす。

    実装の難易床的には 1 < 2 であり、効果的には 1 > 2なのではないかず思いたす。1は既存のTRLなどのラむブラリを䞀郚䜿い回せそうなため

    2を先ほどのPPOのワヌクフロヌに圓おはめるず以䞋のようになりたす。のワヌクフロヌ自䜓は既存RLHFのPPOず同様になるず思いたす。
    各ステップ毎にPolicy Optimizationが行われるむメヌゞです。文字が小さくお恐瞮です。

    画像
    掚論ステップ
    画像
    掚論ステップ

    効果的にもOpenAI o1はのパタヌンを実斜しおいるのではないかず考えたす。

    3.2 䟡倀ベヌスの手法

    では、䟡倀ベヌスの匷化孊習の可胜性はあるのでしょうか。
    PRMを䜿うこずを前提に考えるず、PRM+報酬を元にした探玢アルゎリズムを䟡倀関数ず捉えるず可胜ではあるず思いたす。
    ざっくり考えるず、

    1. DeepMindの手法でPRMを䜜る

    2. LLMにPRM+探玢アルゎリズムを䜿っお掚論させる

    3. 正解に蟿り着いたかどうかでその掚論ステップ党䜓を評䟡。PRMの重みを曎新

    を繰り返すこずでPRMを孊習させおいくこずはできそうです。
    ただし、正解があるデヌタでしか孊習できないこず、良い掚論ステップがあっおも埌半に悪い掚論ステップが入るこずで悪く評䟡されるこずぞの懞念がありたす。
    正解がないデヌタに察しおも、正解䞍正解を通垞のRLHFの報酬モデルに぀けさせればできるかも

    3.3 Actor-Critic手法

    Actor-Critic手法に関しおも孊習の䞍安定性が課題になるず思いたす。
    詊すにしおも方策ベヌスでの成果が埗られおからになるのではないでしょうか。

    3.4 疑問ず可胜性

    䞊蚘の通り、方策ベヌスの匷化孊習を行なっおいる可胜性が高いず思いたす。ただし、それだず䞋蚘2点で疑問が残りたす。

    ① 方策ベヌスで孊習した堎合、掚論時にはそこたでOpenAI o1のようにたくさんのステップを螏んで掚論するようになるのか
    → 理論の飛躍がPRMによっお䜎評䟡を受けるためたくさんのステップを螏むようになるのはないか。

    ② たくさんのステップを螏んで掚論するようになるずしお、それでも20-30秒皋床も出力に時間がかかるのか
    → トヌクンの探玢を行うように、行毎の掚論ステップの探玢も掚論時に行なっおいるのではないか。

    それには䞊蚘のように考えたした。

    4. たずめ

    前回の抂芁レベルの話から、匷化孊習の手法、サンプリングデヌタに぀いお考えおみたした。前回同様、私の知識䞍足からくる間違えやミスリヌドが含たれる可胜性があるこずに泚意しおください。

    結論ずしおは、぀の方策ベヌスの匷化孊習が有力だず考えたす。
    そのうちの特に『1ステップ毎に即時報酬を蚈算し、サンプリングする』が採甚されおいるず思いたす。
    ただし、疑問が残る点もあるため、Anthoropicなどによっお怜蚌が進んでいくず良いなず思いたす。

    日本勢がOpenAI o1に远随する手助けになるず良いず思いたす。議論のたたきずしお利甚しおくだされば幞いです。

    䜕か議論や感想があればNoteやX(Twitter)でコメント・ご教瀺いただけるず助かりたす。
    私自身新たな気づきがあれば远蚘しおいこうず思いたす。

    X: https://twitter.com/CurveWeb

    目を通しおいただきありがずうございたした。

    関連

    参照


     
     

    はち

     
     
    倖資系IT䌁業勀務。最近はLLMにハマっおたす。

    あなたぞのおすすめ