#435 Fableが使えなくなっても困らないように、指示書を渡したら、質問の時点からもう違っていました
指示書を読ませただけで、最初の質問の時点からもう違っていました。
同じChrome拡張機能を、指示ありとなしで同時に作らせてみたら、質問の内容からすでに別物だったんです。
こんにちは、ちーみつです。
Fableが使えなくなる時のために、指示書だけでSonnetの動きを近づけられないか試しました。
指示ありとなしで同じ依頼をして比べてみたところ、最初の質問からもう差が出ていて、単純比較にはなりませんでした。
それでも見えた違いはあったので、そのまま記録しておきます。
SonnetをFableに近づけるための指示書
私はFable5を試していますが、課金するつもりはありません。
なので、もしFableが使えなくなっても、SonnetやOpusにFableとの差分を渡す指示ファイルを作ってあるんです。
中身は難しいものではなく、計画を立ててから動く、途中で自分をチェックする、といった指示だけで埋められる部分を書き並べただけ。
このファイルを読ませた状態と、読ませない状態で、同じ作業をさせて違いを見てみることにしました。
同じ依頼で、同時に作らせてみた
依頼は「Brainという記事販売サイトのリサーチができるChrome拡張機能を作って」。
モデルはSonnet Medium、指示ありとなしを同時に走らせました。
実はこの検証を始めた時点で、その日の5時間制限はすでに90%近くまで減っていました。
これはこの検証のせいではなく、その前に別の作業をしていたからです。
まず質問が来ました。
指示ありは「どの機能を中心に実装しますか？」。
指示なしは「拡張機能の主な使い方はどのタイプにしますか？ポップアップかページ内オーバーレイか？」。
選択肢の中身まで指示ありなしで違っていて、質問の時点からもう性格が分かれるんだ、とちょっと驚きました。
聞かれた質問をメモしているうちに、両方ともタイムアップになり、勝手に作業が進んでいたのですが。
進め方も、完成までの時間も違った
指示ありは、しっかり設計とチェックリストを作成してから「それでは実装します」とコードを書き始めました。
指示なしは、設計というより、リサーチ先サイトから必要な情報を集めたあとに作成を始めていました。
指示ありはコードを書く途中も「詳細情報の抽出処理を更新してこれを利用し、og:titleから販売者名を導出するようにします」と、次にやることを言葉にしながら進んでいました。
指示なしは何やらコードを書いてはいるものの、どんな進め方をしているのか、チャットを見ているだけではわかりませんでした。
この時点で指示ありは完成、10分34秒。
指示なしはまだ作業中で16分30秒、さらに5時間制限が100%になり、回復してから32秒続けました。
指示ありは実データで検証し、バグを見つけて修正。
指示なしは実際に試してみて、挙動がおかしいところを修正しました。
単純比較はできないけど、見えた違いはあった
最初の質問と選択肢がすでに違っていたので、フェアな比較にはなっていません。
それでも指示ありの方は、常に今から何をするかを言葉にしながら進み、完成までの手戻りが少なかったです。
指示なしは進め方が見えないまま、完成後に挙動を試してから直す、という順番になっていました。
指示書を読ませたからといって、何もかもが良くなるわけではありません。
ただ、最初の一歩から違いが出るくらいには、指示は効いているようです。
最後に
次にやるなら、最初のプロンプトでどんなものを作るかをもっと詳しく伝えて、同じ条件で比べてみたいです。
今日Sonnetやopusに何か頼むときは、以下の一行だけ貼ってみてください。
実装前に計画とチェックリストを出してから始めてください最後まで読んでいただきありがとうございます。
登録特典つきの無料メルマガを配信しています。
今回のような細かい検証も、思いついたら試して記録しています。
登録すると、いま配布中の特典をすべて無料で受け取れます。
記事で実際に使ったプロンプトやツールも、この特典に少しずつ追加しています。
指示書やモデルの使い分けが気になった方はこの3本も参考になります👇
