Fable 5.2には、私の問題が易しすぎた。AIのチームのいつもの仕事で試してみた

新しいAIのモデルが出たとき、性能がどうなのか気になりませんか？

11月9日に、Anthropicが「Claude Fable 5.2」を出しました。
あるニュースの見出しには「ぶっちぎりの異次元」という言葉まで並んでいました。

私は、自分のAIのチームのいつもの仕事で試してみたくなりました。
ただ、Opus 5.5（同じAnthropicの、ひとつ下の価格帯のモデル）も、かなり性能がいい。
よほど難しい問題でないと差は出にくいんじゃないか、とも思っていました。

結果は、2つの仕事のどちらでも、Fable 5.2とOpus 5.5の点はほとんど同じでした。
ただ、これは私が試した範囲の話です。
差が見えなかったのは、私の問題がFable 5.2には易しすぎたからかもしれません。

Fable 5.2は、何が新しくなったのか

Anthropicの発表は、Fable 5.2を「最も手ごわい技術的な課題」に向けたモデルとしています。
評価したほぼすべての能力で、Opus 5.5より一段上だそうです。

公式のモデルのページでは、何時間も続く作業や、何段階もの深い調査を想定しています。
値段は、100万トークンあたり、入力が8ドル、出力が40ドル。
トークンは、AIが読み書きする文字のかたまりの単位です。
前の5.1より2割安くなりましたが、Opus 5.5のちょうど2倍です。

公式は使い分けもはっきり書いています。
たいていの仕事はまずOpusで始め、それで足りないときにFable 5.2へ、です。

チームのいつもの仕事で比べた

試したのは、私のAIのチームがふだんやっている仕事です。
1つのAIが英語の論文の要約を作り、別のAIが原文と見比べて、要約の食い違いを探します。

この「食い違い探し」を、Fable 5.2とOpus 5.5に、同じ指示・同じ論文・同じ要約でやらせました。
論文は2本で、どちらにも渡したファイルの中しか読めないようにして、ネットは見せていません。

正解は、この2本でこれまでに見つかって、実際に直した食い違い26件です。
同じ問題は、11月9日に、Haiku 5.5とOpenAIのGPT-6.1 Solが解いていました。
Haiku 5.5は、Claudeでいちばん小さく安いモデルです。
なので、4つを並べられます。
数は、半分だけ当たったものを0.5件として数えました。

• Haiku 5.5：17件

• GPT-6.1 Sol：15件

• Fable 5.2：12件

• Opus 5.5：11.5件

正解をいちばん多く拾ったのは、いちばん安いHaikuでした。
（最新のが下の方って、どういうことやねん）

1本目の要約には正解が16件あったのに、Fable 5.2もOpus 5.5も「問題なし」と判定していました。

ただ、この正解は、HaikuとGPTが見つけたものからできているので、この2つに有利な数え方です。
そこで、正解の外で出した指摘も、原文を開いて1件ずつ確かめてもらいました。

• 本当に食い違っていた指摘：Fable 5.2が7件、Opus 5.5が5件

• 原文より強く言い過ぎた指摘：Fable 5.2が0件、Opus 5.5が1件

正解の数も、正解の外の当たりも、言い過ぎの少なさも、わずかですがFable 5.2が上でした。

採点と確かめは、AIのOpus 5.5にしてもらっています。
比べた片方と同じモデルが採点している、という条件付きの数字です。

かかった時間は、1本あたりFable 5.2が2分弱、Opus 5.5が1分半ほどでした。

Haikuが一番優秀、とは言えないと思っています。
任せるところが違うんですよね。
大きいモデルは、推論や高度な作業に向いている。
小粒の食い違いを拾いきれなかったからといって、Fable 5.2やOpus 5.5がHaikuより能力が低いとは、一概には言えません。

長い調べものでも、満点で並んだ

ニュースの「異次元」は、もっと長い調べものなら見えるのかもしれない。
そう考えて、もう1つ試しました。

今度は、人間関係の論文10本、全文でおよそ46万字を全部読ませて、横に並べる表を作ってもらいました。
人数と国、事前に計画を登録したか、どの統計ソフトを使ったか、など8つの項目で、80点満点です。
読み違えやすい書き方の論文も、そのまま入れました。

結果は、Fable 5.2もOpus 5.5も80点の満点でした。
国が本文に書かれていない論文には、どちらも「推測」と断ったうえで、何から推測したかを添えていました。
頼んでいないのに、論文の中の小さな食い違いもそれぞれ4件ずつ見つけていて、原文で確かめると全部当たりでした。
（満点同士やと、比べようがないやん）

かかった時間は、Fable 5.2が166秒、Opus 5.5が140秒。
10本を読み切る仕事でも、3分かかりませんでした。
Fable 5.2の強さを測るには、この問題では足りなかったんだと思います。

公式の目玉と、私の見立て

私はいま、性能はもう頭打ちに近くて、良くなるとしたら正確さなのかな、と見ています。

公式を読み直すと、正確さを数字で測った結果は載っていませんでした。
知らないことをでっち上げずに知らないと言う、という利用企業の声が紹介されているくらいです。

Fable 5.2を自分でも使ってみて、5.1と同じように、すごくいいモデルだと思います。

ただ、公式が得意だとしている何時間も続く仕事は、まだ試していません。
「異次元」の強さが見えるのは、そこなのかもしれません。

もっと長く走らせて、公式の情報も正としながら確かめていきたいです。

Fable 5.2に頼むとしたら、長い作業です。
ただ、何時間も続く仕事を頼む場面は、コストも含めると、いまはあまりないかもしれません。
いまは、Opusを長く走らせる方が割に合うと考えています。

全部を使うのが、Claudeの良さ

頼む仕事の中身で言えば、5.1で使っていたところは、5.2に置き換えても何の問題もありません。

ただ、性能が高すぎて、人間が判断するのは難しいのかもしれません。
だから、Fable 5.2だけでなく、その下の安いモデルも全部使いながら進める。
どこに何を任せるかを、AIを動かす仕組みの側で設計して、全部を活かしていく。
それがClaudeの良さで、本来のあるべき姿だと思っています。

とりあえず、ようこそ我がチームへ。

新しいモデルが出たとき、前のモデルとどこで比べていますか？
いちばん安いモデルに、どんな仕事を任せていますか？

ほな、また。