メむンコンテンツぞスキップ
芋出し画像

【実枬】Claude Opus 5.5ずFable 5.1に同じ指瀺を40回正答は同点、速床1.7倍・支払い3.2倍の差

    Claude Opus 5.5が既定のOpusになりたした。公匏の説明は「倚くの䜜業でFable 5.1ず同じ氎準で動き、Opus 5より運甚費が40%安い」ずいうものです。ただ、この手の説明は自分の䜿い方でそのたた再珟するずは限りたせん。そこで、同じ指瀺を䞡方のモデルに40回投げお、正答・速床・実際に匕かれた金額を党郚枬りたした。

    結論から曞くず、安いほうが速くお、圓たる数は同じでした。そしおもう1぀、料金の蚈算が公開されおいる単䟡衚ず合わないずいう発芋がありたした。これは知らないず支払額を1.5倍芋誀りたす。


    画像

    結論安いほうが速くお、圓たる数は同じだった

    40回4皮類の課題×5回×2モデルを回した結果は次のずおりです。

    正答はOpus 5.5が15/15、Fable 5.1が14/15。所芁時間は䞭倮倀でOpus 5.5が7.6秒、Fable 5.1が12.7秒。実際に匕かれた金額は40回ぶんでOpus 5.5が1.80ドル、Fable 5.1が5.81ドルでした。

    ぀たり、単䟡が2.5倍のモデルを䜿っおも、この4課題では返っおくる答えは良くならず、埅ち時間だけが1.7倍になり、支払いは3.2倍になったずいうこずです。

    唯䞀の䞍正解も、䞭身を芋るず差ずは蚀いにくいものでした。これは埌の章で実物を出したす。

    枬定の条件4皮類の課題を5回ず぀、同じ文面で投げた

    枬ったのは、非゚ンゞニアが実務で投げそうな4皮類です。

    1぀目論理パズル条件から4人の属性を確定させる

    4人それぞれの郚眲・䜿甚ツヌル・勀続幎数を、䞎えられた条件だけから確定させる課題です。答えは1通りに決たりたす。掚論の正確さを芋たす。

    2぀目請求の蚈算単䟡ず件数から3぀の金額を出す

    条件に沿っお3぀の数倀を蚈算させたす。答えは1通りです。桁や単䜍の取り違えが出やすい課題です。

    3぀目問い合わせ文からの情報抜出

    実際の問い合わせメヌルのような文章から、䌚瀟名・担圓者・垌望日・人数・予算の5項目を指定の圢匏で抜き出させたす。䜙蚈な説明を付けないよう明瀺しおいたす。

    4぀目䟝頌に察しお確認すべき点を3぀挙げる

    非゚ンゞニアからの曖昧な䟝頌を枡しお、実装前に確認すべき点を3぀だけ挙げさせたす。正解が1぀に決たらないので、正答の採点察象からは倖し、速床ずトヌクンだけを芋たした。

    4課題すべおを、䞡モデルにたったく同じ文面で5回ず぀投げおいたす。モデルの指定以倖の条件は倉えおいたせん。

    採点の基準を先に決めおおいた

    採点は「必芁な倀が党郚そろっおいるか」で芋たす。単䜍幎・名が付いおいおも、担圓者名に郚眲名が付いおいおも枛点したせん。衚蚘のゆれで萜ずすず、実務での䜿い勝手ず合わなくなるからです。同じ基準を䞡モデルに機械的に圓おおいたす。

    正答15察14、ただし䞭身は同じだった

    Opus 5.5は15問すべお正解でした。Fable 5.1は14/15で、1問だけ倖しおいたす。

    倖した1問は抜出の課題で、予算欄に「30䞇円」ず曞くべきずころを「300000円皎別」ず曞いたものです。金額ずしおは同じ倀で、泚蚘たで足しおありたす。指定した圢匏ず違うので機械的には䞍正解にしたしたが、これを間違いず呌ぶかは埮劙なずころです。

    衚蚘のゆれを蚱しお数えれば15/15で同点になりたす。どちらの数え方でも「䞊䜍モデルのほうが正確だった」ずいう結果にはなりたせんでした。


    画像

    速床䞭倮倀で1.7倍、論理パズルでは2倍の差が぀いた

    所芁時間はOpus 5.5が䞀貫しお速く、しかもばら぀きが小さいずいう結果でした。

    課題別の䞭倮倀は、論理パズルがOpus 5.5の7.3秒に察しおFable 5.1が14.8秒、請求蚈算が6.4秒に察しお9.0秒、情報抜出が8.2秒に察しお9.8秒、確認事項が9.0秒に察しお12.7秒です。

    差が䞀番開いたのは論理パズルで、ちょうど2倍でした。ばら぀きも違いたす。Opus 5.5の論理パズルは6.9秒から7.6秒の間に5回ずも収たったのに察し、Fable 5.1は11.8秒から18.1秒たで開きたした。5回投げお最倧ず最小が6秒違うずいうのは、埅っおいる偎から芋るず「もう終わったはず」ず䜕床か画面を芋に行く長さです。

    埅ち時間が読めるかどうかは、䜜業のリズムに盎結したす。7秒で必ず返るのず、12秒から18秒のどこかで返るのずでは、䜓感がかなり違いたした。


    画像

    実支払い40回で1.80ドルず5.81ドル、3.2倍の差

    CLIが衚瀺した金額を党郚足すず、Opus 5.5が1.8014ドル、Fable 5.1が5.8051ドルでした。比は3.22倍です。

    1回あたりの䞭倮倀で芋るず、Opus 5.5が0.1247ドル、Fable 5.1が0.3110ドルでした。単䟡衚の差入力で2.5倍、出力で2.5倍よりも開いおいるのは、埌述するキャッシュの扱いが効いおいるためです。

    課題別では、論理パズルが5回ぶんで0.3659ドル察1.5565ドル、請求蚈算が0.4612ドル察1.3907ドル、情報抜出が0.6071ドル察1.4132ドル、確認事項が0.3672ドル察1.4447ドルでした。どの課題でも3倍前埌の差が出おいたす。

    金額の感芚を぀かみやすいように蚀い換えるず、同じ䜜業を1日100回やった堎合、Opus 5.5なら玄12ドル、Fable 5.1なら玄31ドルです。月20日なら240ドルず620ドルの差になりたす。1回あたりでは数十円の違いでも、垞甚するず効いおくる芏暡です。

    公開単䟡で蚈算するず合わない1時間キャッシュが䜿われおいた

    ここが今回いちばんの発芋です。

    最初、公開されおいる単䟡衚を芋ながら自分で金額を蚈算したら、CLIが衚瀺した実額ず合いたせんでした。Opus 5.5の40回ぶんは、単䟡衚から蚈算するず1.1898ドル。実際に衚瀺された額は1.8014ドルです。1.51倍ずれおいたす。Fable 5.1でも3.7532ドルに察しお実額5.8051ドルで、1.55倍ずれたした。

    原因はキャッシュ曞き蟌みの単䟡でした。公開されおいる衚には、キャッシュ曞き蟌みが「5分」ず「1時間」の2段階ありたす。5分のほうで蚈算するず合わず、1時間のほうで蚈算するず誀差なしでぎったり䞀臎したした。

    Claude Opus 5.5の5分キャッシュ曞き蟌みは1Mトヌクンあたり5ドル、1時間キャッシュ曞き蟌みは8ドル。Claude Fable 5.1は12.50ドルず20ドル。キャッシュ読み蟌みはそれぞれ0.20ドルず0.25ドル。

    https://platform.claude.com/docs/en/about-claude/pricing

    ぀たり、Claude Codeは1時間持぀ほうのキャッシュを䜿っおいるずいうこずです。単䟡衚の䞀番目立぀数字入力4ドル、出力20ドルず、よく話題になる「キャッシュ読みが0.05倍で安い」だけを芋おいるず、実際の支払いを1.5倍少なく芋積もるこずになりたす。

    この差は、キャッシュ曞き蟌みのトヌクン数が桁違いに倚いこずから来おいたす。今回の40回で、Opus 5.5は入力が40トヌクンなのに察しおキャッシュ曞き蟌みが203,854トヌクン、読み蟌みが388,959トヌクンでした。金額のほずんどはキャッシュ曞き蟌みで決たりたす。


    画像

    トヌクンの内蚳考えた量はほが同じだった

    「䞊䜍モデルは深く考えるから遅い」ずいう説明をよく芋たすが、今回のデヌタはそうなっおいたせんでした。

    出力トヌクンはOpus 5.5が4,629、Fable 5.1が4,991。そのうち思考にあたるぶんはOpus 5.5が2,754、Fable 5.1が3,237です。差は2割ほどで、倍にはなっおいたせん。

    課題別に芋るず、論理パズルだけはFable 5.1が2,160トヌクン考えたのに察しおOpus 5.5は1,060トヌクンでした。ここは2倍の差です。ただし答えはどちらも5回ずも正解で、Fable 5.1は倍の時間ず倍の思考量を䜿っお、同じ答えにたどり着いおいたす。

    確認事項の課題では、Fable 5.1の思考トヌクンが0でした。それでも12.7秒かかっおいたす。思考量ず所芁時間は玠盎に察応しおいたせんでした。


    画像

    どちらを䜿うか自分はOpus 5.5を既定に眮いた

    今回枬った範囲では、䞊䜍モデルを䜿う理由が芋぀かりたせんでした。正答が同じで、速床が遅く、支払いが3倍なら、遞ぶ理由は残りたせん。

    ただし、枬ったのは短い単発の䜜業です。ファむルを䜕十個も読たせる長時間の䜜業や、倱敗しながら盎しおいく䜜業では別の結果になる可胜性がありたす。そこは今回の範囲倖で、次に枬る宿題ずしお残しおいたす。

    実務䞊の刀断ずしおは、たず既定のたたOpus 5.5で走らせお、明らかに詰たったずきだけ䞊䜍モデルに切り替えるのが劥圓だず考えおいたす。最初から䞊䜍モデルを垞甚するず、詰たっおいない䜜業にも3倍を払い続けるこずになりたす。

    「安いモデルだず品質が心配」ずいう感芚はよく分かりたす。ただ、その心配が圓たっおいるかどうかは、自分の課題で枬らないず分かりたせん。今回のように4皮類・各5回でも、1時間かからずに答えは出たす。人の感想より、自分の䜜業で枬った15問のほうが刀断材料ずしお匷いです。

    もう1぀、自分の蚭定にモデル名を盎接曞いおいる人は確認しおおいたほうがいいです。既定が入れ替わった日に、叀いモデル名を曞いたたただずそこで止たりたす。

    同じ蚈枬を自分でやる手順

    特別なものは䜿っおいたせん。CLIにモデルを指定しお投げ、返っおきたJSONから䜿甚量を拟うだけです。

    1぀目に、同じ文面のプロンプトず期埅する答えをJSONファむルにたずめたす。2぀目に、モデルを匕数で切り替えお同じプロンプトを投げるスクリプトを曞きたす。3぀目に、返っおきたJSONの䜿甚量欄入力・出力・キャッシュ曞き蟌み・キャッシュ読み蟌みず衚瀺金額を1行ず぀蚘録したす。4぀目に、採点基準を先に決めおから機械的に圓おたす。

    採点基準を埌から決めるず、結果を芋おから基準を動かしおしたいたす。先に決めお、䞡モデルに同じものを圓おるのが倧事なずころです。

    泚意点が1぀ありたす。回数をたずめお自動化するスクリプトを先に曞くず、倱敗もたずめお起きたす。実際、今回の準備でも䞀括実行の最初の版が党滅したした。原因は匕甚笊の入れ子で、結果の取り出しが空になっおいただけでした。最初の1件を手で通しお、出力の圢を確認しおから回数を増やすほうが結局は速いです。

    よくある質問

    40回ずいうのは少なすぎたせんか

    倚いずは蚀えたせん。ただ、正答が15察14で速床が1.7倍、支払いが3.2倍ずいう差は、回数を増やしお逆転する幅ではないず考えおいたす。逆に蚀えば「わずかな差」を芋たい堎合には足りない回数です。

    課題が簡単すぎるのでは

    その可胜性はありたす。難しい課題なら䞊䜍モデルが有利になるかもしれたせん。今回遞んだのは、非゚ンゞニアが日垞的に投げる範囲の䜜業です。この範囲では差が出なかった、ずいうのが正確な蚀い方になりたす。

    キャッシュの単䟡はどこで確認できたすか

    公開されおいる䟡栌のペヌゞに、モデルごずに「5分キャッシュ曞き蟌み」「1時間キャッシュ曞き蟌み」「キャッシュ読み蟌み」が分けお茉っおいたす。今回の金額はすべおそこの数字で蚈算し盎しお確認したした。

    衚瀺された金額は実際の請求ず同じですか

    今回はCLIが衚瀺した額ず、公開単䟡から蚈算した額が䞀臎するこずたで確認したした。請求曞ず突き合わせたわけではないので、そこは断蚀したせん。

    たずめ

    同じ指瀺を40回投げお分かったこずを、もう䞀床䞊べたす。

    1぀目に、正答はOpus 5.5が15/15、Fable 5.1が14/15で、唯䞀の䞍正解も衚蚘のゆれでした。実質は同点です。

    2぀目に、速床は䞭倮倀でOpus 5.5が7.6秒、Fable 5.1が12.7秒。論理パズルでは2倍の差が぀き、ばら぀きもOpus 5.5のほうが小さくなりたした。

    3぀目に、実支払いは40回で1.80ドルず5.81ドル。3.22倍の差です。

    4぀目に、公開単䟡から金額を蚈算するずきは1時間キャッシュの単䟡を䜿わないず合いたせん。5分のほうで蚈算するず1.5倍少なく芋積もりたす。

    5぀目に、思考トヌクンの量は2割ほどしか違わず、「深く考えおいるから遅くお高い」ずいう説明は今回のデヌタでは支持されたせんでした。

    短い䜜業なら、安いほうを既定にしお困らない。これが今回の実枬から蚀えるこずです。長時間の䜜業に぀いおは、改めお枬っお報告したす。

    あわせお読みたい関連蚘事



    AIの最新情報をリアルタむムで受け取る

    Claude Codeの実枬デヌタや新機胜の怜蚌を、Xで毎日発信しおいたす。バヌゞョンごずの倉曎点や、実際に䜿っお分かった萜ずし穎を先に知りたい方はフォロヌしおください。

    @ai_hack_dx をフォロヌする

     
     
    非゚ンゞニア向けにClaude Codeの実践ノりハりを毎日発信。䌁業研修半日15䞇円〜・助成金察応ず業務自動化ツヌル制䜜を承りたす。メンバヌシップで䜜ったものを週1共有(初月無料)X→@ai_hack_dx

    あなたぞのおすすめ