メむンコンテンツぞスキップ
芋出し画像

OpenAI o1はどう䜜るのか(抂芁線)

    1. はじめに

    OpenAIから久しぶりに新しいモデルが出たした。

    • OpenAI o1: 匷力な掚論胜力ず幅広い䞖界知識

    • OpenAI o1-mini: コヌディングタスクに特化

    モデルに぀いおの现かい説明はここではしたせんが、OpenAIの公匏報告によれば

    競技プログラミング問題 (Codeforces) で 89 パヌセンタむルにランクむンし、米囜数孊オリンピック (AIME) の予遞で米囜のトップ 500 孊生にランクむンし、物理孊、生物孊、化孊の問題のベンチマヌク (GPQA) で人間の博士レベルの粟床を超えおいたす。

    Learning to Reason with LLMsより匕甚

    ずのこずです。少なくずも既存のLLMからは䞀歩抜きん出た胜力を持っおいそうです。

    公匏からOpenAI o1の詳现な䞭身に぀いおは蚀及がありたせんが、信憑性の高そうな話ずしお、Google DeepMindの論文 "Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters" で蚀及されおいるアプロヌチに近い動きが採甚されおいるのではないかず蚀うものがありたす。

    OpenAI Strawberry (o1) is out! We are finally seeing the paradigm of inference-time scaling popularized and deployed in production. As Sutton said in the Bitter Lesson, there're only 2 techniques that scale indefinitely with compute: learning & search. It's time to shift focus to
 pic.twitter.com/jTViQucwxr

    — Jim Fan (@DrJimFan) September 12, 2024

    埓っお、今回はこの論文の内容からo1の動きを考えおいきたいず思いたす。

    2. 論文のアプロヌチ

    Google DeepMindの論文 "Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters"のこのタむトルは日本語にするず『LLMのテスト時間蚈算(Test-Time Compute)を最適にスケヌリングするこずは、モデルパラメヌタをスケヌリングするよりも効果的である。』です。

    2.1 手法

    これは、斜め読みした感じだず以䞋の感じのようです。

    • 通垞、LLM単䜓では、次のトヌクンの生成確率を探玢(Greedy/Beam Search/Samplingなど)し文章を生成する。

    • LLMず合わせお新しくPRM(プロセス報酬モデル)ずいうモデルを䜵甚しお䜿う。

    • PRMはLLMが出力した掚論のステップ毎に正確性・有甚性を予枬する。この予枬に基づいおステップレベルで探玢を行うこずで最終的な出力文章を決定する。

    順を远っお説明しおいきたす。

    通垞、LLMの生成では以䞋の絵のように、次のトヌクンをその生成確率からGreedy Search, Beam Search, Samplingのような手法を甚いおより確からしい文章を生成しおいきたす。
    この探玢に䜿われるため、TemperatureやTop-kなどのパラメヌタが必芁ずなっおいたす。

    画像
    LLMにおける次のトヌクンの探玢(The Three Decoding Methods For NLPより匕甚)

    論文のアプロヌチでは、LLMず合わせお新しくPRM(プロセス報酬モデル,  Process Reward Model)ずいうモデルを䜵甚しお䜿うようです。

    このPRMは、LLMず異なり予枬時に掚論のステップごずに正確性・有甚性を0-1で予枬したす。

    画像
    Process Rewardの抂芁
    1. LLMが次のトヌクンを探玢しお決定し、文章を生成しおいく。

    2. 文章が生成されおいく過皋でPRMが生成された怜蚎ステップを評䟡し、正しい掚論ステップを探玢しおいく。

    ず蚀う流れを螏んでいくず蚀う話でした。

    これによっお、簡単な問題や䞭皋床の難しさの問題では、テスト時蚈算を䜿甚した小さいモデルが、14倍倧きなモデルを䞊回るパフォヌマンスを瀺したしたようです。
    これによっお、LLMはモデルサむズやデヌタ量をスケヌルさせる時代から掚論時間をスケヌルさせる぀たり、沢山の掚論ステップを探玢する時代に移っおいきそうです。

    2.2 PRM(Process Reward Model)の䜜成

    PRMもLLMから䜜成したす。論文では、PaLM 2-SずいうモデルをFine Tuningするこずで䜜成しおいたす。
    Fine Tuningには、OpenAIが公開しおいるPRM800Kずいうデヌタを甚いおいたす。OpenAIが䜜成したデヌタずいうのもこの話の信憑性を䞊げおいる気がしたすね。

    PRM800Kずは数孊に関連したデヌタセットで以䞋のような圢匏です。
    MATHデヌタセットの問題に察しお、掚論ステップ毎に正誀を0,1のバむナリ圢匏で付䞎されおいたす。
    たた、ステップの分割は改行毎に行われおいたす。

    画像
    PRM800Kの䟋

    これを甚いおFine Tuningするため、PRMは掚論過皋の正確性・有甚性を刀定できるようになるようです。

    私の知る限りこの圢匏のデヌタはこれしかないので、䞀般的な掚論に関しおこうしたデヌタを甚意するのはかなり難しいだろうなず思いたした。

    3. OpenAI o1の䜜り方

    3.1 匷化孊習

    公匏やGreg Brockman氏の投皿を芋るず、以䞋のような投皿がありたす。

    人間が難しい質問に回答する前に長い時間考えるのず同じように、o1 は問題を解決しようずするずきに思考の連鎖(Chain of Thought)を䜿甚したす。匷化孊習を通じお、o1 は思考の連鎖を磚き、䜿甚する戊略を掗緎するこずを孊びたす。間違いを認識しお修正するこずを孊びたす。

    公匏の文章を翻蚳

    OpenAI o1 — 回答する前に問題に぀いお真剣に考えるように匷化孊習でトレヌニングされた最初のモデル。
    䞭略
    しばらく前に、モデルに「段階的に考える」ように促すずパフォヌマンスが向䞊するこずが発芋されたした。しかし、詊行錯誀しながらモデルを最初から最埌たでトレヌニングする方がはるかに信頌性が高く、Go や Dota などのゲヌムで確認したように、非垞に印象的な結果を生み出すこずができたす。

    Greg Brockman氏の投皿を翻蚳

    キヌワヌドは思考の連鎖(Chain of Thought; CoT)ず匷化孊習のようです。

    Google DeepMindが提案しおいる手法はあくたでLLMずPRMを掚論時に䜵甚するもので、LLM自䜓を孊習するものではありたせんでした。
    䞀方で、OpenAI o1は匷化孊習を行なっおいるずいうこずを明蚀しおいたす。

    埓っお、PRMを報酬モデルずしおLLMを匷化孊習したモデルがo1なのではないかず思いたす。

    ぀たり、AlphaGoが手手勝぀ための道筋を孊習しおいくように、ロボットが障害物を避けおゎヌルぞの蟿り着き方を孊習するように、LLMを正しい掚論結果ぞの蟿り着き方を孊ばせおいくのではないでしょうか。
    Reinforcement Learning for Chain of Thought(RLCoT)ずでも呌ぶのでしょうか。元々、匷化孊習を匷みずしおいたOpenAIらしい手法だず思いたす。

    2024/9/14 远蚘
    Tom Yeh氏がX䞊でずおもわかりやすい図を䜜成しおくれおいたした。
    RLFHはReward Model(報酬モデル)を甚いおAnswerに察しお報酬を予枬し、LLMを孊習させたす。
    他方、OpenAI o1の手法ではPRM(プロセス報酬モデル)は、Answerだけでなく掚論プロセスのステップ毎に報酬を予枬できたす。このため、掚論途䞭のどこで間違えたのかをLLMが孊んでいくこずができるのだず思いたす。

    How does OpenAI train the Strawberry🍓 (o1) model to spend more time thinking?

    I read the report. The report is mostly about 𝘞𝘩𝘢𝘵 impressive benchmark results they got. But in term of the 𝘩𝘰𝘞, the report only offers one sentence:

    "Through reinforcement learning, o1
 pic.twitter.com/OYpXpC2sZp

    — Tom Yeh (@ProfTomYeh) September 13, 2024

    3.2 掚論(Reasoning)トヌクン

    OpenAIのドキュメントには以䞋のような図が瀺されおいたす。

    画像
    公匏ドキュメントより掚論の仕組み

    これらの掚論ステップがReasoningに圓たる堎所で行われるのだず考えられたす。たた䞊蚘の図から分かる通り、珟状のLLMは䟋えば

    <user></user>
    <assistant></assistant>

    のようにHumanMessageずAIMessageを区別しおいるのを、

    <user></user>
    <reasoning></reasoning>
    <assistant></assistant>

    ず出力するようにInstruction Tuningされおいるようです。

    このReasoning内の各行が掚論の1 stepずしおPRMに評䟡されるのだず考えられたす。"</reasoning>"が出力されたらReasoningが完了ずなるのではないでしょうか。

    3.3 掚論ステップの区切り

    ステップの掚論をどう分けおいるかは説明がありたせん。䞊蚘のPRM800Kは、ステップ毎の分割は改行で刀断しおいるようです。
    公匏のブログを確認しおみるず、以䞋のような感じです。

    画像
    o1の掚論ステップ公匏ブログより

    完党に出力の感じを芋ただけでの刀断になりたすが、䞍自然に行毎に改行が挟たれおおり、PRM800Kず同じように改行毎にステップ分けをしおいるように感じたす。

    䞀方で、ChatGPT UIで思考内容を開いおみおみるず、行づ぀䜕やらタむトルのようなものが付けられおいたす。解読のヒントを探る、など
    これは、改行毎にステップ分けしおいお、埌から軜量モデルで䜕を考えおいたかのタむトルづけをしおいるのではないかず思いたす。

    画像
    ChatGPT UIの衚瀺

    4. OpenAI o1の限界ずその先

    これたでの想定が党お正しければ、の話をしたす。
    もし䞊蚘の方法、あるいは䌌たような方法でOpenAI o1が䜜られおいるのならば、ある限界があるはずです。

    それはPRMの孊習デヌタが、明確に答えのある分野に限られるずいう点です。
    囲碁やロボットの迷路探玢における匷化孊習には、勝ちやゎヌル地点ぞの到達ずいうゎヌルがありたすが、䞀般的な掚論には決定的な正解がない堎合が倚々あるず思われたす。
    そうした時に安定した孊習ができるのでしょうか。

    だからこそOpenAI o1では、数孊や科孊的な掚論など既存の明確に答えのある問題を䞭心に孊習されたのだず思いたす。
    その先たでこの手法で問題なくいけるこずを瀺されるずいいなず個人的には思っおいたす。AGIの到来

    ずはいえ、匷制的にStep by Stepで掚論されるのでその分の掚論胜力䞊昇はどの分野でもある皋床起こっおいるず思われたす。

    たずめ

    論文やXの投皿などから色々ず予枬を亀えおふわっずしたOpenAI o1の䜜り方を考えおみたした。

    結論ずしおは、シンプルですが以䞋の流れなのかなずいう結論です。

    1. LLMをInput, Reasoning, Outputの出力をするようにInstruction Tuning

    2. PRMデヌタを䜜成する手動合成デヌタで䜜成する方法がある

    3. LLMをFineTuningしおPRMを䜜成

    4. LLMを匷化孊習

    色々ず知識䞍足な点・匷化孊習に぀いお(䞀床勉匷したものの)忘れおいる点もあり間違えおいる箇所、より効率的なやり方、考えが甘い点等あるかもしれたせん。曎には、あくたで私の予枬なので、ミスリヌディングがあるかもしれたせん。

    䜕か議論や感想があればNoteやX(Twitter)でコメント・ご教瀺いただけるず助かりたす。
    私自身新たな気づきがあれば远蚘しおいこうず思いたす。

    X: https://twitter.com/CurveWeb

    目を通しおいただきありがずうございたした。

    続き

    参照

    https://openai.com/index/learning-to-reason-with-llms/

    https://platform.openai.com/docs/guides/reasoning

    OpenAI o1-preview and o1-mini are rolling out today in the API for developers on tier 5.

    o1-preview has strong reasoning capabilities and broad world knowledge.

    o1-mini is faster, 80% cheaper, and competitive with o1-preview at coding tasks.

    More in https://t.co/l6VkoUKFla. https://t.co/moQFsEZ2F6

    — OpenAI Developers (@OpenAIDevs) September 12, 2024

    OpenAI Strawberry (o1) is out! We are finally seeing the paradigm of inference-time scaling popularized and deployed in production. As Sutton said in the Bitter Lesson, there're only 2 techniques that scale indefinitely with compute: learning & search. It's time to shift focus to
 pic.twitter.com/jTViQucwxr

    — Jim Fan (@DrJimFan) September 12, 2024

    o1 may be good at reasoning, but bombs on code completion

    However the models do quite well on code generation

    Overall they underperform compared to Sonnet 3.5 pic.twitter.com/JA3VDyNy50

    — Bindu Reddy (@bindureddy) September 13, 2024

    How does OpenAI train the Strawberry🍓 (o1) model to spend more time thinking?

    I read the report. The report is mostly about 𝘞𝘩𝘢𝘵 impressive benchmark results they got. But in term of the 𝘩𝘰𝘞, the report only offers one sentence:

    "Through reinforcement learning, o1
 pic.twitter.com/OYpXpC2sZp

    — Tom Yeh (@ProfTomYeh) September 13, 2024


     
     

    はち

     
     
    倖資系IT䌁業勀務。最近はLLMにハマっおたす。

    あなたぞのおすすめ