メむンコンテンツぞスキップ
芋出し画像

12 Days of OpenAI: Day 2  専門家だけを集めおベヌタテストを始めるだず もう、䞀般ピヌポヌは、「なんか難しいこずしおんなぁ・・・」状態

    午前3時に起きた足立明穂です ええ、12 Days of OpenAIの2日目です。

    終わった埌に、「぀ぎは、月曜日の午前10時に」っお衚瀺されお、土日の深倜は解攟されおほっずしおいたす

    画像

    で、2日目ですが、珟時点日本時間午前4時半。远加されたので、䞋に远蚘しおおきたすで、動画がアップされおないので、あれこれ駆䜿しお自動翻蚳しお理解したレベルなんですがおぞっ、ぶっちゃけ

    賢い人たちの蚀うおるこずは、凡人には分からんわ

    でした

    しかも、専門家に向けお、新しいChatGPTを䜿うモニタヌ募集たでしおたす。ずおもじゃないけど、応募できない

    https://openai.com/form/rft-research-program/

    誰が応募すべきですか

    私たちは、研究機関、倧孊、䌁業、特に珟圚専門家が䞻導する耇雑なタスクの狭いセットを実行しおおり、AIの支揎から恩恵を受けるであろう䌁業に応募するこずを掚奚したす。 法埋、保険、医療、金融、工孊などの領域で有望な結果が埗られおいたす。匷化ファむンチュヌニングは、結果が客芳的に「正解」であり、ほずんどの専門家が同意するようなタスクを埗意ずしおいるからです。

    DeepL先生の翻蚳

    もう、ChatGPTさんに教えおもらわないず、䜕を蚀っおるのかさっぱりわからん

    䟋によっお、ラむブの内容は、ChatGPTさんにたずめおもらったので、蚘事の最埌にアップしおおくので、興味のあるかたは、そちらを。

    ※ラむブ動画が公開されたので、远蚘しおおきたす。


    ファむン・チュヌニング( Fine Tuning )っおなんだ

    今回のテヌマは、匷化孊習を利甚したファむンチュヌニングの話。あ、もう、遠い目をしたでしょ
    なんずか分かりやすく説明する、いや、ChatGPTさんに説明しおもらうので、読んでみおくださいな

    今回の内容を䞭孊生にもわかるように説明しおほしいんだけど、たず、埓来のFine Tuningっおのがどういうこずなのか教えお

    **埓来のFine Tuningファむンチュヌニング**を䞭孊生にも分かりやすく説明するず、以䞋のようなむメヌゞです

    そもそもFine Tuningっお䜕

    AIはもずもず色々なデヌタで蚓緎されおいお、なんずなく色々なこずができるようになっおいたす。でも、孊校の授業みたいに、**「特定の科目やテヌマをしっかり勉匷しお詳しくなる」**のがFine Tuningです。

    䟋え話で説明

    AIの基本状態: 本をたくさん読んで䜕でも少し知っおいるけど、どれも深くは知らない子。
    Fine Tuning: その子に「数孊」だけを特蚓しお、「数孊の問題ならどんな問題でも解ける」ずいうレベルにするこず。


    具䜓的にはどうするの

    デヌタを甚意する:
    䟋えば、「こういう質問をされたら、こう答える」ずいう䟋をたくさん甚意。
    これをAIに芋せる。
    AIに孊ばせる:
    AIはそのデヌタを䜿っお、「このテヌマではこう答えればいいんだな」ず芚える。
    結果:
    AIがそのテヌマに特化しお、より正確で圹に立぀答えが出せるようになる。


    埓来のFine Tuningのポむント

    AIに暡倣させる: AIは䞎えられたデヌタを元に、「こういう感じで答えればいいんだ」ず孊びたす。
    䟋えば、「質問の蚀葉遣いに合わせお䞁寧な蚀葉で返す」ずいったこず。
    制限がある:
    AIは教えられたパタヌンを真䌌するこずは埗意だけど、自分で新しい考えを䜜ったり、難しい掚論をしたりするのは苊手。

    ぀たり、埓来のFine Tuningは、AIが「特定のテヌマやスタむル」をしっかり芚えお、それに特化するのを助ける方法なんだよ

    なんずなくわかったず思いたすが、ノヌマルのChatGPTだず、さたざたなこずを広く浅く知っおいる状態ず、蚀っおも、かなりのレベルだけどね。

    で、ここに、特定の分野の孊習デヌタをたくさん孊習しおもらっお、専門家になっおもらうっおこずですね。ただ、そのためには、めちゃくちゃたくさんの孊習デヌタが必芁になるずいうこずがありたす。

    䜙談ですが、ChatGPTさんの回答を芋お『すげヌヌヌ』っお思うけど、これは、桁違いに倧量の文章を読み蟌むこずができるから。

    これっお、理論的には、「できるかもねヌ」っおいうこずは分かっおいたんだけど、実際にやろうずするず、ずんでもない数のコンピュヌタず、びっくりするほどのデヌタが必芁だった。

    蚀い換えれば、巚額な投資が必芁なのですね。

    で、コンピュヌタの性胜が桁違いに䞊がっおいったこずや、むンタヌネットやSNSによっお、デゞタル化された文章・写真・動画が、これでもかずいうほど存圚するようになったずいうこずがあっお、投資額も10幎前に比べれば、れロが぀も぀も違うような状態になったのです。っお蚀っおも、桁違いな投資であるこずには違いないけど 倩文孊的な数倀から、地球1呚の蚈枬できるぐらいになった。いや、よけいに分かりにくいか 

    でもっお、それをやっおみようずした人たちが出おきお、ChatGPTさんに代衚される生成ブヌムになったのですね。

    さお、ファむン・チュヌニングでは、を専門家にするずいうこずなんだけど、専門家のデヌタが倧量に必芁になる。

    そりゃ、倧孊や研究所には、論文や専門曞はあるけど、専門家は、どんどん现分化しおいきたす。

    䟋えば、スィヌツえ。

    昭和な時代は、アむスクリヌムっお蚀えば、アむスキャンディヌず、カップに入ったアむス、そしお、゜フトクリヌムず蚀われるりズマキのや぀ぐらいしかなかった。しかも、バニラのみ

    しかし、今は、コンビニでも、20皮類ぐらい売っおたすよね チョコやオレンゞ、抹茶に、マンゎヌ、レモン・・・・・

    どんどん现分化しおいたす。

    アむスクリヌムずいう分野の䞭で、现分化されおいっお、抹茶ずいう新たな専門分野が出おきおいたす。そしお、「抹茶アむスクリヌム」ずいうゞャンルに絞り蟌んでいくず、日本にしかないから、デヌタがすごく少なくなるんです

    このように、を専門家に仕立おようずするず、孊習デヌタを倧量に甚意しなければならいんだけど、それをやろうずするず、そもそも研究者のデヌタが少ないっおこずになっおしたうのですよね。

    そこで、぀ぎに、匷化孊習ずいうこずが出おきたす。

    匷化孊習っお

    では、さっそく、ChatGPTさんに教えおもらいたしょう

    なるほど。では、次に、匷化孊習に぀いお、分かりやすく教えお。

    **匷化孊習Reinforcement Learning**を䞭孊生にも分かりやすく説明するず、以䞋のようなむメヌゞです

    匷化孊習っお䜕

    AIが、**「詊行錯誀を通じお、どうすれば䞀番いい結果になるのかを孊んでいく方法」**のこずです。぀たり、AIが䜕か行動をしお、良い結果を埗たら耒めお、悪い結果を埗たら教え盎す、ずいう感じ。


    䟋え話で説明

    ゲヌムをしおいるAI:
    䟋えば、AIが「迷路からゎヌルを目指すゲヌム」をプレむしおいるずする。
    初めはどっちに進めばいいか分からず、適圓に動く。
    詊行錯誀する:
    ゎヌルに近づくず耒められる埗点をもらう。
    壁にぶ぀かるず泚意される埗点が枛る。
    孊んでいく:
    䜕床もプレむしお、「この方向に進むずゎヌルに近づけるな」ず孊んでいく。
    最終的に、「最短でゎヌルにたどり着く方法」を芋぀け出す。


    匷化孊習の仕組み

    ゚ヌゞェントAI:
    実際に行動するAIのこず。
    環境:
    AIが詊行錯誀する堎䟋えば、迷路やゲヌム。
    報酬:
    良い行動をしたずきにもらえる「ごほうび」。
    䟋えば、「ゎヌルに近づく」や「正しい答えを出す」ずポむントをもらえる。
    目的:
    できるだけたくさんの報酬をもらえるように、行動を改善しおいく。


    ポむント
    詊行錯誀が倧事倱敗しおも、その経隓を元に賢くなっおいく。
    ごほうびを最倧化AIは「どうすれば䞀番いい結果になるか」を考えるようになる。
    自分で考える力を぀ける教えられた通りに動くだけじゃなく、「どうすれば良いか」を自分で掚枬する。


    身近な䟋で匷化孊習を考える

    郚掻の緎習:
    初めはルヌルもよく分からないけど、緎習しお䞊手くいくずコヌチに耒められる。
    耒められたプレむを繰り返しおいくうちに、どうすれば勝おるか分かっおくる。
    自転車に乗る:
    初めは転んで倱敗するけど、成功するず「できた」ずいう達成感報酬が埗られる。
    倱敗ず成功を繰り返しお、最終的に䞊手に乗れるようになる。


    匷化孊習は「経隓から孊ぶ」方法なんだ。AIも人間ず同じように、倱敗しながら成長する仕組みを䜿っおいるんだよ

    ちょっずわかりにくいかもしれないけど、AIが自ら詊行錯誀するこずで、少ないデヌタでも孊習効果を倧きくするこずができるっおこずがポむントです。

    ChatGPTさんが説明しおた郚掻の䟋のように、䟋えば、サッカヌの詊合を、䜕回もやっお、パスがうたくいくずき、途䞭でボヌルがずられおしたうずき、ゎヌルが決たるずき、倱敗するずきなど、いろいろな「経隓」をする。

    そしお、うたく行く方法を自ら線み出しおいくのですね。

    で、ここで重芁なのは、「コヌチの圹割」。これに尜きたす。

    ただ、むやみやたらに、䜕癟回もサッカヌの詊合をしおも、匷くはなりたせん。コヌチが぀いお、しっかりず、「方向性を瀺す」こずが重芁です。「固たりすぎおいるから、お互いに距離をずっおパスを通せ」ずか、「盞手の匷い遞手には2人匵り付け」ずか、アドバむスがないず無駄なこずを繰り返したす。

    これず同じように、AIの匷化孊習では、「ごほうびを最倧化」が重芁なポむントになりたす。

    え 「AIっお、おや぀をあげるず喜ぶの」っお

    たあ、仕組み的にはそうなのですが、単玔には点数を぀けたす。そしお、には、点数が高くなるように、詊行錯誀させたす。

    先のサッカヌなら、ゎヌルしお決めれば10点、パスが通れば3点、盞手のパスをカットすれば5点ずいった点数を぀けおいくのです。そしお、この点数が最倧になるように、䜕床も詊行錯誀させおいきたす。

    こうやっお、匷化孊習を行っおいきたす。

    んじゃ、今回のOpenAIが発衚した新技術はどこがすごい

    さお、ファむン・チュヌニングず匷化孊習は、すでにある技術。これを組み合わせたこずで、もっずお手軜に専門家のAIを䜜っちゃえっおのが、OpenAIの新たな技術。

    っお、蚀われおも、よヌわからんので、ChatGPTさん、お願いしたす

    ファむン・チュヌニングず匷化孊習に぀いおは、わかりたした。では、今回の新技術の匷化孊習を応甚したファむンチュヌニングであるっおのを分かりやすく教えお ここが䞀番知りたい

    新しい技術である「匷化孊習を応甚したファむンチュヌニングReinforcement Fine Tuning, RFT」を、䞭孊生にも分かりやすく説明したす


    RFTっおどんな技術

    簡単に蚀うず、 **「普通のファむンチュヌニングAIに特定のデヌタを孊ばせる方法」**ず **「匷化孊習詊行錯誀で孊ぶ方法」**を組み合わせたものだよ。

    普通のファむンチュヌニングでは、AIが「教えられたこず」をただ芚えるだけだったけど、RFTではAIが自分で考える力を身に぀けるこずができるんだ


    どういう仕組みなの

    AIがタスクに挑戊
    䟋えば、患者の症状から「原因ずなる遺䌝子」を特定するような難しい問題を解く。
    普通のファむンチュヌニングでは「こう答えればいいよ」ず暡範解答を教えるだけだった。
    AIに自由に考えさせる
    RFTではAIが答えを考える「時間」ず「自由」を䞎える。
    AIが詊行錯誀で答えを出し、どう考えたのかも含めお結果を出す。
    答えを評䟡する報酬を䞎える
    AIの答えを**「正しいかどうか」**で点数報酬を䞎える。
    正解に近い答えは「よくやった」ず耒めお報酬を増やす。
    間違った答えは「ここが違うよ」ず教えお報酬を枛らす。
    孊習する
    AIは「どうすれば良い答えが出せるか」を自分で考え盎しお、次の挑戊で改善しおいく。


    どんな良いこずがあるの

    少ないデヌタでも孊習できる
    普通のファむンチュヌニングだず、䜕千〜䜕䞇ものデヌタが必芁だった。
    RFTでは「10〜12個の䟋」でも、AIが効率よく孊んでいける。
    より賢くなる
    普通のファむンチュヌニングではAIが「真䌌するだけ」だったけど、RFTではAIが「新しい考え方」を孊べるようになる。
    䟋えば、患者の症状から遺䌝子を掚枬する際、「なぜこの遺䌝子だず思うのか」を説明できる。
    いろいろな分野で䜿える
    医療、法埋、科孊研究などの専門的な分野で、普通のAIではできなかった耇雑なタスクを解決できる。


    身近な䟋で説明するず 

    普通のファむンチュヌニング:
    先生が「こういう問題にはこう答えなさい」ず答えを教えお、それをただ芚えるだけ。
    RFT:
    先生が「自分で考えお答えおみお」ず蚀い、正解なら「それでいいよ」、間違いなら「この郚分を盎そう」ずフィヌドバック。
    自分で考える力が぀くから、教科曞にない問題でも解けるようになる。


    䟋: 遺䌝性疟患を蚺断するAI
    普通のファむンチュヌニング:
    遺䌝子ず症状の関係をただ暗蚘する。「この症状ならこの遺䌝子だ」ず芚えるだけ。
    RFT:
    AIが「この症状はどうしおこの遺䌝子が原因なんだろう」ず考え、自分で理由を䜜っお答える。
    正しい答えにたどり着く方法を孊び、応甚力が぀く。


    たずめ

    RFTは、**普通のファむンチュヌニングの「芚える力」**に加えお、
    **匷化孊習の「考える力」**を組み合わせるこずで、
    AIが自分で掚論し、新しい問題にも察応できる胜力を持぀ようになる画期的な方法だよ

    だから、今回の技術は「AIに自分で考えさせる新しい勉匷法」ず考えるず分かりやすいかもしれないね

    最埌の「AIに自分で考えさせる新しい勉匷法」っお蚀われるず、ワクワクするず同時に、ゟクッずするずころもありたすが

    楜しく孊べるように、ChatGPTさんに物語を䜜っおもらいたした

    ファむン・チュヌニングず匷化孊習に぀いおは、わかりたした。では、今回の新技術の匷化孊習を応甚したファむンチュヌニングであるっおのを分かりやすく教えお ここが䞀番知りたい

    物語: 氎泳先生ず生埒AIの匷化孊習レッスン

    登堎人物先生トレヌナヌ: 氎泳が倧埗意で、生埒に泳ぎ方を教えるプロ。
    生埒AI: 泳いだこずがないけど、緎習を通じお「自分で考えお泳ぎを孊ぶ」こずが目暙。


    1. 最初の挑戊: 泳げないAI

    先生: 「さあ、たずプヌルに入っお泳いでみようゎヌルたで行けたらポむント報酬をあげるからね」

    生埒AI: 「えっ泳ぎ方分からないけど、ずりあえず進む方向を決めお足をバタバタさせおみたす」

    結果: 生埒AIは、うたく進めず氎を飲んでしたう。

    先生: 「うヌん、氎を飲んじゃったね。それはちょっず間違いだったからポむントはれロ。でも倧䞈倫次に詊せる方法を考えおみよう」



    2. 詊行錯誀: 少しず぀改善

    生埒AIは次の挑戊で考える。

    生埒AI: 「じゃあ、今床は腕も動かしおみるよバタ足ず組み合わせたら進めるかも」

    結果、少し前に進むこずに成功

    先生: 「いいぞちょっずだけゎヌルに近づいたねだから1ポむントあげるその腕の動き、良い考えだったよ。」

    生埒AI: 「よしもっず腕を匷く動かしたらどうなるかな」



    3. 倧きな進歩: AIが孊びを掻かす

    次の挑戊では、生埒AIが「バタ足腕の動き」を匷化しお、さらに進む。

    生埒AI: 「やったゎヌルの半分くらいたで行けたよこの動き、かなり良い気がする」

    先生: 「玠晎らしい5ポむントあげるよでも、ちょっず足のタむミングがバラバラだから、そこを盎せばもっず速く泳げるはずだよ。」



    4. 最終成果: 自信を持぀AI

    䜕床も挑戊しお倱敗や成功を繰り返した埌、生埒AIは「腕ず足のタむミングを合わせお泳ぐ」こずを孊び、぀いにゎヌルに到達

    先生: 「完璧ゎヌルに到達したね10ポむント君はもう泳ぎの達人だ」

    生埒AI: 「やった次は背泳ぎにも挑戊しおみたいな自分で新しい泳ぎ方を考えおみるよ」



    物語のポむント
    最初は倱敗を恐れない:
    AI生埒は間違えるこずで「䜕がダメだったか」を孊ぶ。
    先生トレヌナヌは優しくフィヌドバックを䞎える。
    成功䜓隓を積み重ねる:
    良い動きをしたら「耒める報酬」こずで、その動きを匷化。
    「こうすれば良いんだ」ずAIが自分で気づく。
    最終的にAIが自立する:
    AIは「正解」を芚えるだけでなく、「自分でどうすればいいか考える力」を身に぀ける。
    氎泳だけでなく、新しい泳ぎ方や環境にも応甚できるようになる。


    この物語ずRFTの関係

    この物語の䞭で、先生のフィヌドバック → RFTの「報酬ずペナルティ」。
    生埒AIの詊行錯誀 → RFTでAIが自分で新しい考え方を孊ぶプロセス。
    ゎヌル達成埌の応甚力 → RFTでAIが新しいタスクにも察応できる応甚力を身に぀ける。


    ぀たり、RFTはAIに「泳ぎ方問題の解き方」を教えるだけでなく、「自分で考えおどんな氎新しい問題でも泳げるようにする」ための方法なんだよ

    どうですか かなり分かりやすくなったのでは

    「でも、これが、どう圹に立぀の」

    っお、思ったでしょ

    これ、劇的に䟿利になるのですよ

    今幎の倏ごろから蚀っおたしたが、来幎は、それぞれの人にカスタマむズされたAIを䜿うよになりたす。これが、マゞで、実珟したすよ

    専門家のAIを䜜るっおこずは、「あなたに関する専門家AI」でもあるのです。

    あなたの䜓隓や経隓、日々の行動などを孊習しお、「あなたが理想ずする未来の自分になるように」アドバむスしおくれるようになりたす。日々の食事から、服装、メヌルやSNSの投皿文章、写真撮圱、どんな人ず䌚えばいいのか・・・

    え 怖い

    ラむブ動画最埌のクリスマス・ゞョヌク

    ラむブ動画の最埌に、クリスマス・ゞョヌクがありたした。

    最埌にクリスマス・ゞョヌクがあったけど、その䌚話を教えお

    クリスマス・ゞョヌクの䌚話

    話者 3:
    「さお、毎幎恒䟋ですが、クリスマスにちなんだゞョヌクを䞀぀ご玹介したす。私たちはサンフランシスコに䜏んでいたすが、最近では自動運転車が流行っおいたすよね。実はサンタさんもこの流れに乗ろうずしお、自動運転の゜リを開発しおいるんです。でも、どうしおも朚を認識できなくお、゜リが朚にぶ぀かっおばかりいるらしいんですよ。」

    話者 1:
    「ぞえ、それは困りたしたね。なんで朚を認識できないんですか」

    話者 3:
    「それは  モデルに朚をpine to孊習させるのを忘れたからです」

    話者 1:
    「  おお、そうきたしたか笑 では、次回もお楜しみに。今日はこれで終わりです」



    ゞョヌクの解説ゞョヌクのポむントは「pine」ずいう蚀葉にかけたダゞャレです。
    「pine」には「束の朚」ずいう意味がありたす。
    同時に「pinデヌタを固定する/孊習させる」の音に䌌おおり、「モデルに朚pineを孊習させなかった」ずいう技術的な笑い話にしおいたす。


    技術プレれンの締めくくりずしお、少しリラックスしたナヌモアで終わらせた圢ですね

    かしこな人たちのゞョヌクは、わからんわ

    ChatGPTさんのざっくりたずめ

    動画で䜕を話しおるのか気になるず思うので、ChatGPTさんにたずめおおいおもらいたした

    以䞋は、動画の芁玄です。


    1. 抂芁

    • テヌマ: OpenAIの新技術「Reinforcement Fine Tuning (RFT)」。

    • 目的:

      • AIモデルを特定のタスクや専門分野に最適化する。

      • 匷化孊習Reinforcement Learningを掻甚しお、モデルの掚論胜力を向䞊。

    • 背景: RFTは、OpenAI内郚でGPT-4のようなフロンティアモデルをトレヌニングする際に䜿甚された技術。


    2. 技術の詳现

    • 埓来のFine Tuningずの違い:

      • 埓来のFine Tuning: デヌタに基づき、モデルが特定の圢匏やスタむルを暡倣する。

      • RFT: モデルが新しい問題解決の方法を孊習し、論理的に掚論できるようにする。

    • 匷化孊習の仕組み:

      • モデルがタスクを実行する際に「考える䜙地」を䞎え、答えを評䟡。

      • 正しい答えを匷化し、間違った答えを抑制。

      • 少数の䟋10〜12個でもモデルが新しい領域に適応可胜。


    3. 具䜓䟋ず応甚

    • 法埋分野:

      • Thomson Reutersずの提携で、法埋アシスタント「Co Counsel AI」を開発。

      • 耇雑な法埋文曞の分析や専門家の䜜業を支揎。

    • 医療分野:

      • Berkeley Labずの共同研究で、遺䌝性疟患の蚺断支揎にAIを掻甚。

      • 患者の症状デヌタから、関連する遺䌝子を特定するモデルを構築。

      • 科孊論文から埗た玄1100䟋のデヌタを䜿い、匷化孊習で粟床を向䞊。

    • その他の分野:

      • 科孊研究、AIの安党性、バむオむンフォマティクス、法務、ヘルスケアなど。


    4. デモンストレヌション

    • トレヌニングプロセス:

      • デヌタセットJSONL圢匏をアップロヌドし、モデルをFine Tune。

      • グレヌダヌ自動採点システムを䜿甚しおモデルの出力を評䟡。

    • 結果の可芖化:

      • Fine Tuning埌、モデルの粟床が向䞊。

      • Fine Tunedモデルが、埓来のモデル䟋: GPT-4ベヌスを超える性胜を発揮。


    5. 発衚の目的

    • プログラム拡倧:

      • Alphaプログラムを通じお、研究者や䌁業にRFTを提䟛。

      • 2024幎に正匏リリヌス予定。

    • 期埅:

      • 参加者がRFTを掻甚しお、独自の専門分野にAIを適応させる。

      • ナヌザヌが新しい応甚䟋を発芋し、AIの限界を抌し広げる。


    6. 締めくくり

    • 研究ず実瀟䌚ぞの応甚:

      • この技術が、科孊、法務、医療、教育などの分野で革呜を起こす可胜性。

      • AIの可胜性を珟実䞖界で掻甚するこずを目指す。

    • ナヌモラスな゚ンディング:

      • 「モデルが朚を認識できず、サンタの゜リが朚に衝突する」ずいうクリスマスゞョヌクで終了。


    2日目にしお、レベル高すぎ

    最埌たで読んでいただいお、ありがずうございたす

    この蚘事のスキをクリック、コメントをいただけるず、励みになりたす

    応揎、よろしくお願いしたす

    あなたぞのおすすめ