【実測】GPT-6 AstraとClaude Fable 5.1に同じ指示を40回出した｜正答は同点、料金は2.5倍差がついた

9月3日にOpenAIのGPT-6 Astraが出てから、私のタイムラインは「Astraがすごい」で埋まりました。一方で、Anthropicは9月1日にClaude Fable 5.1を出しています。どちらも最上位モデルで、API料金は入力100万トークンあたり10ドル、出力50ドル。単価は1円単位まで同額です。

ではどちらを使えばいいのか。感想やベンチマークの引用は山ほど流れてきますが、同じ指示を両方に投げて数えた記録が見つかりませんでした。それなら自分で測るしかありません。

この記事は、自作した4種類の問題を両モデルに5回ずつ、合計40回投げた実測の記録です。結論を先に書くと、採点できる15回はどちらも全問正解で差がつきませんでした。差が出たのは速度、出力量、そして最終的に支払う金額です。

測り方

何を使って測ったか

AstraはCodex CLI 0.153.4、Fable 5.1はClaude Codeから呼び出しました。どちらもターミナルから1回ずつ実行し、返ってきたJSONから所要時間とトークン数を拾っています。

具体的なコマンドはこの2つです。

codex exec -m gpt-6-astra --skip-git-repo-check --json -
claude -p "指示文" --model claude-fable-5-1 --output-format json

Codex側はturn.completedイベントのusageに、Claude側はusageに、それぞれトークンの内訳が入っています。所要時間はPythonのperf_counterで、コマンドの開始から終了までを測りました。

4種類の問題を5回ずつ

問題は自分で作りました。市販のパズルや有名な問題を使うと、どちらかが学習済みで有利になる可能性があるためです。

1つ目は論理パズルです。4人の人物について、部署・使用ツール・勤続年数を10個の条件から確定させます。作ったあとにPythonで全24×24×24通りを総当たりして、解が1通りしかないことを確認してから出題しました。

2つ目は計算です。請求書の作成時間について、手作業と自動化後の合計時間、削減率を小数第1位まで出させます。

3つ目は情報抽出です。問い合わせメールから会社名・担当者・希望日・人数・予算を抜き出させます。「当初12名とお伝えしていましたが、最終的に18名になりました」のように、途中で数字が変わる文を混ぜてあります。

4つ目は判断型です。「毎月の請求書をまとめて自動で作るツールを作ってください」という曖昧な依頼に対して、実装前に確認すべき点を3つ挙げさせます。これは正解がないので、中身を読んで比べます。

各問題を5回ずつ、両モデルで実行しました。4問×5回×2モデルで合計40回です。同じ指示でも返ってくる内容は毎回揺れるので、1回や2回では判断できません。これは以前、出力スタイルを比較したときに痛い目を見て学んだことです。

結果1 正答率は15回中15回で並んだ

採点できる3問（論理・計算・抽出）について、両モデルとも5回すべて正解でした。合計15回ずつ、誤答はゼロです。

論理パズルの答えは「青木は経理でfreee、勤続5年」から始まる4行ですが、どちらも10個の条件を正しく処理して同じ答えに到達しました。計算問題も「A=72.0 B=13.5 C=81.3」で完全一致。抽出問題も、途中で12名から18名に変わる人数を両方とも正しく18名と答え、日付も指定どおりYYYY-MM-DD形式に直していました。

正直なところ、どちらかが転ぶと予想していました。以前Fable 5とOpus 5を40回比較したときは、料金が2倍高いFable側だけが都道府県の面積順を間違えるという結果が出ています。今回は差がつきませんでした。

この水準の問題では、賢さで選ぶ理由がないというのが1つ目の結論です。

結果2 速度はFable 5.1がすべての問題で上回った

所要時間の中央値は次のとおりです。

・論理パズル Astra 8.5秒 / Fable 6.7秒

・計算 Astra 8.0秒 / Fable 4.4秒

・情報抽出 Astra 7.2秒 / Fable 4.4秒

・判断型 Astra 9.0秒 / Fable 8.3秒

4問すべてでFable 5.1のほうが速く、いちばん差が開いた計算問題では1.81倍の差がつきました。全体の中央値ではAstra 8.1秒に対してFable 5.7秒です。

ただし、この数字はCLIの起動時間を含んでいます。純粋なモデルの応答速度ではなく、「ターミナルで打ってから答えが返るまで」の体感に近い数字だと考えてください。

結果3 同じ答えなのに、出力量が2.6倍違った

面白かったのは、答えの文字数はほぼ同じなのに、課金対象の出力トークンが大きく違ったことです。

論理パズルの回答は、どちらも58字でした。ところが出力トークンは、Astraが102に対してFableは238。2.3倍の差があります。

内訳を見ると理由がわかります。Fable 5.1は論理パズルで190トークンを思考に使っていました。Astraの推論トークンは57です。つまりFable側は、答えを書く前に3倍以上考えてから答えを出しています。

一方、計算問題ではFableの思考トークンは0でした。Astraは31使っています。問題の難しさに応じて、考える量を自分で変えていることが数字に出ています。

出力トークン全体の中央値は、Astra 58に対してFable 128。Fableのほうが2.2倍多く出力しています。

結果4 判断型では「聞く深さ」が倍以上違った

正解のない4問目で、いちばんはっきり差が出ました。

曖昧な依頼に対して確認すべき点を3つ挙げさせたところ、Astraは126字、Fable 5.1は346字と、文字数で2.7倍の開きがありました。

Astraの回答はこうです。

過不足なくまとまっています。これで十分と言えば十分です。

対してFable 5.1は、同じ3項目をこう書いてきました。

1行が明細単位か請求書単位かという確認は、実際に請求書ツールを作ると必ずぶつかるところです。ここを最初に聞いておかないと、あとで作り直しになります。さらにFable側はインボイス制度の登録番号や税率ごとの消費税額、請求書番号の採番ルールまで挙げてきました。

どちらが良いかは場面によります。短い確認で済ませたいならAstra、作り直しを避けたいならFable、という選び方になりそうです。少なくとも「どちらも3つ挙げた」という表面だけを見て同じ性能だと判断するのは危ない、というのが4つ目の結論です。

結果5 料金は同単価なのに、実際の支払いは2.5倍差がついた

ここがいちばん意外でした。

冒頭に書いたとおり、両モデルのAPI単価は入力10ドル、出力50ドルで同額です。ところが同じ40回の実測で計算した実際の料金は、1回あたりAstraが0.0468ドル、Fableが0.0188ドルでした。Astraのほうが2.5倍高いという結果です。

20回分の合計でも、Astra 1.93ドルに対してFable 1.18ドルでした。

原因はキャッシュの単価です。トークンの内訳を見ると、こうなっていました。

・Astra 読ませた量の中央値19,036トークン（うちキャッシュヒットは回によってばらつき、5回目は0）

・Fable 読ませた量の中央値30,226トークン（ほぼ全部がキャッシュ読み込み）

読ませている量はFableのほうが1.6倍多いのに、料金は安くなっています。Fable 5.1のキャッシュ読み込みは100万トークンあたり0.25ドルで、これは通常の入力単価の40分の1です。対してAstraのキャッシュ入力は1ドル、つまり10分の1です。

さらにAstra側は、5回中いくつかの回でキャッシュヒットが0になっていました。その回は19,000トークン全部が通常単価で課金されます。

公式の価格表だけを見ると「同じ$10/$50」ですが、繰り返し同じことを聞く使い方では、キャッシュの単価差がそのまま請求額の差になります。

なお、これはAPIの従量課金に換算した金額です。ChatGPT PlusやClaude Proのような定額プランで使っている場合、この金額が請求されるわけではありません。ただし利用枠の消費という形では効いてきます。

この実測でわかったことと、わからなかったこと

4つの問題と40回の実行でわかったのは次の4点です。

1つ目、この水準の問題では正答率に差がありません。15回中15回で並びました。

2つ目、速度はFable 5.1が全問で上回りました。中央値で8.1秒対5.7秒です。

3つ目、Fable 5.1は問題の難しさに応じて思考量を変えており、難しい問題ほど多く考えてから答えます。論理パズルで190トークン、計算問題では0でした。

4つ目、単価が同じでも実際の支払いは2.5倍違いました。キャッシュ読み込みの単価差（0.25ドル対1ドル）が効いています。

一方で、わからなかったことも書いておきます。

今回測ったのは1回で完結する単発の指示だけです。何時間もかけてコードを書かせたり、ファイルを何十個も読ませたりする長時間の作業では、結果が変わる可能性があります。Xで見かける「Codex+Astraは頭はいいが仕事はできない」という評価は、おそらくそちらの使い方についての話です。そこは今回の40回では検証できていません。

また、Codex CLIとClaude Codeという別々の道具から呼んでいるので、システムプロンプトの量が違います。Astra側が約19,000トークン、Fable側が約30,000トークンを毎回読んでいるのは、モデルの差ではなく道具の差です。純粋なモデル比較にするなら、両方をAPIで直接叩く必要があります。

非エンジニアはどちらを選べばいいか

私の結論は、「どちらでもいい、ただし理由は賢さではない」です。

答えの正確さで選ぶ段階は終わっていて、決め手になるのは次の3つだと思います。

1つ目は速さです。細かい質問を何十回も投げる使い方なら、1回あたり2〜4秒の差は積み上がります。

2つ目は確認の深さです。曖昧な依頼を渡して作り始めてもらうなら、先に細かく聞いてくれるほうが結果的に早く終わります。今回の実測ではFable 5.1がそちらでした。

3つ目は、すでに持っているサブスクです。両方に月額を払う必要はありません。片方を使い倒すほうが、機能の細かい違いを覚えるコストが減ります。

私自身はClaude Codeを主軸にしたまま、Codexは比較のために残しておく形にします。今回のように「同じ指示を投げて数える」ことができるのは、両方を手元に置いているからです。

よくある疑問

Astraのほうが賢いと聞きましたが、違うのですか。

今回の4問では差が出ませんでした。ただし測ったのは論理・計算・抽出・判断の4種類だけで、しかも1回で終わる短い指示です。コードを長時間書かせる用途や、専門知識を要する分野では違う結果になる可能性があります。「私が測った範囲では差がなかった」以上のことは言えません。

料金が2.5倍というのは、いつも2.5倍になるということですか。

いいえ。今回の条件（短い指示を繰り返し投げる）での数字です。キャッシュが効きにくい使い方や、出力が非常に長くなる使い方では比率が変わります。自分の使い方で確かめるのがいちばん確実です。

同じ指示を5回も投げる必要がありますか。

あります。以前、出力スタイルを2回だけ測って「Conciseのほうが高い」と逆の結論を出しかけたことがあります。5回ずつ測り直したら逆転は消えました。同一条件でも出力トークンは2倍以上ぶれるので、最低3回、できれば5回は必要です。

手元にCodex CLIがなくても再現できますか。

Claude Code側だけならclaude -p "指示" --model claude-fable-5-1 --output-format jsonで同じ数字が取れます。返ってくるJSONにusageとduration_api_msが入っているので、それを数回ぶん集めれば自分の環境の傾向がわかります。

まとめ

GPT-6 AstraとClaude Fable 5.1に、自作の4問を5回ずつ、合計40回投げました。

採点できる15回はどちらも全問正解で、正答率では差がつきませんでした。速度は4問すべてでFable 5.1が上回り、中央値で8.1秒対5.7秒です。出力量はFableが2.2倍多く、難しい問題ほど思考トークンを増やしていました。そして単価が同額にもかかわらず、実際の支払いはAstraが2.5倍高くなりました。キャッシュ読み込みの単価が4倍違うためです。

選ぶ基準は、もう賢さではないと思います。速さ、確認の深さ、すでに払っているサブスク。この3つで決めて問題ない段階に来ています。

今回測れなかった長時間の作業については、別途記録を取って続きを書きます。

Claude Codeの実測記録をXでも毎日発信しています。あなたはどちらを主軸にしていますか。よかったら教えてください。

@ai_hack_dx