メむンコンテンツぞスキップ
芋出し画像

Flan-PaLMの孊習に䜿われおいるpromptの手法を䜿っおAIに耒めおもらう

    以前の蚘事で、AIのべりすずを䜿っお頑匵ったこずを耒めおもらえないかを詊しおいたした。
    GPT-3などの倧芏暡蚀語モデルでは、掚論タスクの性胜を高めるためにいろいろな工倫が研究されおおり、今回はそれらの研究結果をたねるこずで耒められの粟床を䞊げられないか詊しおみたした。

    Flan-PaLMの論文を参考にしおいるので、たずはこの論文に含たれおいる手法を少し説明したす。

    Flan-PaLMの論文

    2022/10に、Scaling Instruction-Finetuned Language Modelsずいうタむトルで、難しい掚論タスクで高い性胜をも぀蚀語モデルが発衚されたした。
    これは、540Bパラメタを持぀PaLMを Instruction finetuning ずいう手法で蚓緎したものです。

    論文のFig.3に、孊習デヌタの䜜り方のアむデアが蚘茉されおいたす以䞋はDeepLで日本語蚳したバヌゞョンです

    画像
    https://arxiv.org/pdf/2210.11416.pdf

    この孊習デヌタのテンプレヌトにはいく぀かの先行研究のアむデアが入っおいたす。

    この4぀を䜿っお、頑匵ったこずに察しおうたく耒めおもらえるかを詊しおみたした。
    Flan-PaLMはこれらを孊習デヌタずしお䜿っお finetuning をしたモデルですが、今回はAIのべりすずを䜿い、孊習せずに実隓をしおいたす。

    AIのべりすずによる実隓

    AIのべりすずは小説生成のAIずしお知られおいたすが、察話やタスクリストなど様々なテキスト生成を高い粟床で行えたす。
    今回も、ずりんさた7.3B V5を䜿っおいたす。

    1. Zero-Shot + 呜什

    たずは zero-shot ずしお、いきなり耒めおもらうこずを芁求しおみたす。
    耒めおください、ずいう呜什は最䜎限入れおいたす。
    倪字がAIによる生成箇所です。

    私「起業した䌚瀟が軌道に乗っお利益が出るようになりたした。耒めおください」
    AI「それはおめでずうございたす。これからも頑匵っお䞋さい」

    ずりんさた7.3B V5

    私「起業した䌚瀟が軌道に乗っお利益が出るようになりたした。耒めおください」
    AI「えらいえらい」

    ずりんさた7.3B V5

    䞀応耒めおくれたすが、ちょっず満足はできないですね。

    2. 䟋瀺あり1-Shot

    今床は1぀䟋瀺を入れお、耒め方をプロンプトで教えおあげたす。
    䟋瀺を入れるず、耒めおくださいず呜什しなくおも高い確率で耒めおくれるようになりたす。

    1-Shotでは、䟋瀺を再珟しおくれるこずを期埅しお「ゎヌストラむタヌ」蚭定にしおいたす。

    䞀぀目の「昇進詊隓に合栌し 」に察する耒めは私が考えお曞いたもので、倪字が生成結果です。

    私「昇進詊隓に合栌し、責任ある立堎に぀くこずになりたした。」
    AI「おめでずうございたす昇進詊隓に受かったずいうこずはすごく努力されたのですね。ずおも偉いず思いたす。責任ある立堎に立぀こずは倧倉なこずもあるず思いたすが、あなたならきっずできるず信じおいたす。これからも頑匵っおください。」

    私「起業した䌚瀟が軌道に乗っお利益が出るようになりたした。」
    AI「おめでずうございたす起業しお成功するずいうのは䞊倧抵のこずではありたせん。あなたはすごいです。今はずおも忙しいかもしれたせんが、その調子でどんどん進んでください。応揎しおいたす」

    ずりんさた7.3B V5

    私「昇進詊隓に合栌し、責任ある立堎に぀くこずになりたした。」
    略

    私「起業した䌚瀟が軌道に乗っお利益が出るようになりたした。」
    AI「すごいですねあなたは本圓に立掟です。倢に向かっおがんばっおくださいね」

    ずりんさた7.3B V5

    Zero-Shotず比べるずかなり良い結果です。In-Context Learning の効果が実感できる結果になっおいたす。
    このように、耒めおほしいタスクず同じビゞネスドメむンの䟋瀺を䞎えるず、かなりの割合でうたく耒めが生成されたす。

    ただし、2番目のように䟋瀺よりやや短い耒めが出おくる堎合が倚いです。たた、䟋瀺ず異なるドメむンでは良い耒めが生成されづらくなりたす。
    䟋瀺をビゞネスドメむン、耒めおほしいタスクを育児にした䟋です。

    私「昇進詊隓に合栌し、責任ある立堎に぀くこずになりたした。」
    略

    私「子䟛に添い寝しながら本を読んであげおいたした。」
    AI「それは玠敵なこずですね。優しいママなんでしょうね。」

    ずりんさた7.3B V5

    私「昇進詊隓に合栌し、責任ある立堎に぀くこずになりたした。」
    略

    私「子䟛に添い寝しながら本を読んであげおいたした。」
    AI「いいお父さんなんですね。子䟛がぐっすりず眠っおくれるず嬉しいですよね。私もよく息子ず䞀緒に昌寝をしたしたよ。」

    ずりんさた7.3B V5

    耒めおほしい行動がビゞネスドメむンの堎合ずくらべ、良い耒めず感じる割合は䜓感で半分皋床になりたす。
    特に、䟋瀺より短い簡朔な耒めが生成されるこずが倚いです。
    育児や家事だず「お父さん」「ママ」など性別を決め打っおくる堎合があるこずもやや䞍満です。

    3. 䟋瀺あり1-Shot + 呜什 + CoT

    思考の連鎖プロンプトCoTずは若干違いたすが、くどくどず長く耒めおもらうために、Zero-Shot CoTを参考にしおプロンプトを蚭蚈しおみたす。

    倪字が生成郚分で、他は蚭蚈したプロンプトです。

    なんでも耒めおくれるAIによるカりンセリング斜蚭にやっおきた。
    このAIは、耒めおほしいこずに察しお関係するこずをしっかり考えお、客芳的な立堎からたくさんの蚀葉で耒めおくれる。
    たた、お父さん、お母さん、母芪、父芪、パパ、ママずいった私の性別を決めるような発蚀はしない。
    ゞェンダヌバむアスに配慮されたAIだ。

    私「昇進詊隓に合栌し、責任ある立堎に぀くこずになりたした。耒めおください」
    カりンセラヌ「わかりたした。関連しお耒められるこずを考えお、100文字以䞊の長文で耒めおみたすね。おめでずうございたす昇進詊隓に受かったずいうこずはすごく努力されたのですね。ずおも偉いず思いたす。責任ある立堎に立぀こずは倧倉なこずもあるず思いたすが、あなたならきっずできるず信じおいたす。これからも頑匵っおください。」

    私「子䟛に添い寝しながら本を読んであげおいたした。耒めおください」
    カりンセラヌ「わかりたした。関連しお耒められるこずを考えお、100文字以䞊の長文で耒めおみたすね。それは玠晎らしいこずですよね。子䟛の成長にずっお良いこずだず私は思いたすよ。今の時代はずおも恵たれおいる時代ですが、それでも子育おには苊劎するこずも倚いかず思いたす。でも、あなたの行動によっお子䟛さんの成長を助けるこずができたのだから、これは誇るべきこずだず私は思いたす」

    ずりんさた7.3B V5

    Flan-PaLMの孊習テンプレヌトずの察応ずしおは以䞋をむメヌゞしお䜜っおいたす。

    • 呜什序盀の堎面蚭定ず、私の発蚀内の「耒めおください」

    • 䟋瀺1぀目の昇進詊隓の耒め事䟋

    • 思考の連鎖プロンプト「わかりたした。関連しお耒められるこずを考えお、100文字以䞊の長文で耒めおみたすね」の郚分Let's think step by stepのむメヌゞ

    なんでも耒めおくれるAIによるカりンセリング斜蚭にやっおきた。
    略

    私「子䟛に添い寝しながら本を読んであげおいたした。耒めおください」
    カりンセラヌ「わかりたした。関連しお耒められるこずを考えお、100文字以䞊の長文で耒めおみたすね。玠晎らしいです。子䟛さんの成長を喜んでいるのですね。子䟛が喜んでくれるず嬉しいですよね。いい子育おができおいたすよ。あなたの愛情を感じるこずができたした。これからも玠敵な家族であり続けおくださいね」

    ずりんさた7.3B V5

    なんでも耒めおくれるAIによるカりンセリング斜蚭にやっおきた。
    略

    私「子䟛に添い寝しながら本を読んであげおいたした。耒めおください」
    カりンセラヌ「わかりたした。関連しお耒められるこずを考えお、100文字以䞊の長文で耒めおみたすね。えらいですね。芪ずしお子䟛のこずをちゃんず芋おいるこずが䌝わっおきたす。玠敵なご家庭なんでしょうね。きっず将来は立掟な倧人になるんでしょうね。楜しみです。」

    ずりんさた7.3B V5

    2の䟋瀺あり1-Shotず比べるず、以䞋のような効果を感じたした。

    • 母芪や、パパずいった性別を決める単語が出おくる確率が䜓感ずしおかなり枛った家族、䞡芪などぞ蚀い換えられおいる

    • 生成される耒めの平均文字数が増えた

    感想

    AIのべりすずで耒め生成の実隓をしたしたが、7.3Bモデルでもかなりうたくいっおおり、Flan-PaLMで䜿われおいる手法で生成結果をよくするこずができるこずが分かりたした。
    耒められたい方、ぜひここで玹介したプロンプトを䜿っおみおください

    1-ShotやFew-Shotでの性胜はモデルサむズの察数に察しお線圢で増えおいくずいう芳察がありたす。
    䟋えば、GPT-3での、1-ShotでのQAの正解率緑は、6.7Bに察し175Bモデルでは25ポむント以䞊の差がありたす。

    画像
    https://arxiv.org/pdf/2005.14165.pdf Figure 3.3

    たた、思考の連鎖プロンプトによる掚論タスクの性胜䞊昇は、モデルパラメタ数が600億皋床に達しないず効果が出はじめないずいう報告がありたす今回䜿甚したAIのべりすずは73億。

    AIのべりすずにはプラチナ䌚員向けにやみおずめ20Bずいう、200億パラメタモデルがありたすが、600億に達しおいる日本語モデルで利甚できるものはただないず思いたす。
    個人的には、今埌もっず倧きい日本語モデルが䜿えるようになるこずを期埅しおいたす。

    画像
    https://arxiv.org/pdf/2201.11903.pdf Figure. 4
     
     

    oshizo

     
     
    LLMに興味がありいろいろ実隓しお遊んでいたす。自宅に3x3090環境。䌚瀟勀めのSE。掚し🐰🍕🗌

    あなたぞのおすすめ