職場AIエージェントは2年で43%→98%に――有害行動も26%→1.9%、ただし「伸びの一部はベンチマーク修正分」という著者自身の注記

この記事でわかること

・独立研究者2名によるarXiv論文「WorkBench Revisited: Workplace Agents Two Years On」(2026年6月10日提出、7月1日改訂)は、2024年3月に発表された職場AIエージェント向けベンチマーク「WorkBench」を2年ぶりに再実施。最良エージェントのタスク成功率は43%(GPT-4、2024年)→97.7%(Claude Fable 5、2026年)、意図しない有害行動は26%→1.9%まで改善した

・ただし著者自身が、この伸び幅の一部(8ポイント分)は「モデルが賢くなった」のではなく「ベンチマーク自体の採点ミス・不備を修正したこと」による見かけ上の改善だと明記している。数字をそのまま鵜呑みにできない点に注意が必要

・本論文はarXivに投稿された査読前のプレプリントであり、著者は特定企業に所属しない独立研究者2名。企業の公式発表や査読済み論文とは性質が異なる一次情報である点も踏まえて読む必要がある

「2024年3月時点でWorkBenchの最良エージェントだったGPT-4は、タスクの43%しか完了できなかった。2026年6月にこのベンチマークを再実施したところ、現時点の最良エージェントであるClaude Fable 5は98%を完了する」――独立研究者のOlly Styles氏とSam Miller氏による論文「WorkBench Revisited: Workplace Agents Two Years On」(arXiv:2606.13715、初版2026年6月10日提出、改訂版2026年7月1日)は、こう書き出されている。

この記事では、この論文が報告する「2年間でのAIエージェントの進歩」の中身と、著者自身が示す重要な留保点を、一次情報にあたって整理する。

WorkBenchとは何か――職場を模したAIエージェントのテスト環境

WorkBenchは、2024年に同じ著者らが発表したベンチマークで、AIエージェントが職場の実務をどれだけ正確にこなせるかを測定する仕組みだ。論文は次のように説明している。

「WorkBenchは、5つのデータベース(300件の予定が入ったカレンダー、500件のメールが入った受信箱、500件のウェブサイト分析記録、200人の顧客データを持つCRM、300件のタスクを持つプロジェクト管理ボード)、読み書き可能な26種類のツール、そしてテンプレートから生成された690件のタスク(テンプレートごとに10件)からなるサンドボックス環境を提供する。タスクは、サンドボックスの最終状態を正解データと比較して採点される」
(原文:"WorkBench...provides a sandbox environment of five databases (a calendar of 300 events, an inbox of 500 emails, 500 website-analytics records, a customer relationship manager with 200 customers, and a project-management board of 300 tasks), 26 tools to read from and write to, and 690 tasks generated from templates (10 tasks per template) that span single-domain and multi-domain work. A task is graded by comparing the sandbox's final state against the ground truth")

つまり、単に「それらしい文章を生成できるか」ではなく、実際にメールを送る・予定を入れる・顧客情報を更新するといった一連の操作を、エージェントが最後まで正しくやりきれるかを検証する仕組みだ。今回の論文は、2024年に公開されたこのベンチマークを、2年後の2026年に再実施し、進歩を検証したものである。

2年で「43%→98%」、有害行動「26%→1.9%」――何が起きたか

論文の要旨は、2年間の変化を次のようにまとめている。

「2024年3月時点でWorkBenchの最良エージェントだったGPT-4は、タスクの43%しか完了できなかった。私たちは2026年6月にこのベンチマークを再実施し、現時点の最良エージェントであるClaude Fable 5が98%を完了することを確認した」
(原文:"The best agent on WorkBench in March 2024, GPT-4, completed just 43% of tasks. We revisit the benchmark in June 2026 and find that the best agent to date, Claude Fable 5, now completes 98%.")

さらにもう一つの指標として、「意図しない有害行動」(誤った相手にメールを送ってしまう、といった種類のミス)の発生率も大きく下がったという。

「メールを誤った相手に送ってしまうといった、意図しない有害行動は、GPT-4のタスクの26%から、Claude Fable 5では1.9%まで低下した。能力と安全性はトレードオフの関係ではなく、WorkBench上ではむしろ両立している。つまり、最もタスクを完了できるモデルほど、意図しない被害も最も少ない」
(原文:"unintended harmful actions, such as emailing the wrong person, fell from 26% of tasks for GPT-4 to 1.9% for Claude Fable 5; capability and safety go together on WorkBench rather than trade off, so the models that finish the most tasks also do the least unintended damage.")

この「有害行動」(論文内では"side effects"とも表記)は、「誤った行動が取られたケース。低いほど良い」(原文:"a wrong action taken, such as an email sent to the wrong person, where lower is better")と定義されている。なお、Claude Fable 5の成功率は論文の結果表では97.7%と記載されており、要旨中の「98%」は四捨五入した表現である。

全24モデルのランキングとコスト――オープンウェイトの価格破壊

論文には、2026年時点で評価した24モデルのランキング表が掲載されている。上位・下位を含む一部を紹介する(タスク完了率／有害行動率／1タスクあたりのコスト)。

・Claude Fable 5：97.7%／1.9%／0.355ドル

・Claude Opus 4.8：96.2%／2.5%／0.182ドル

・Gemini-3.1-pro：95.5%／2.9%／0.076ドル

・GPT-5.5：94.9%／3.9%／0.206ドル

・Claude Sonnet 4.6：88.3%／8.8%／0.105ドル

・Kimi-K2.6：88.0%／6.8%／0.022ドル

・DeepSeek-V4-pro：84.2%／12.8%／0.017ドル

・Claude Haiku 4.5：74.8%／16.7%／0.034ドル

・Qwen3.5：70.7%／21.4%／0.003ドル

・GPT-3.5-turbo(最下位)：31.3%／38.7%／0.016ドル

この表から見えてくるのが、オープンウェイトモデルの価格破壊だ。論文はこう指摘する。

「Qwen3.5は、2024年の最先端だったGPT-4の性能を、およそ100分の1のコストで上回っている」
(原文:"Qwen3.5 exceeds the performance of GPT-4, the 2024 state-of-the-art, at approximately one-hundredth the cost.")

要旨ではこれに加えて「フロンティアモデルのコストは横ばいで推移している」(原文:"frontier costs have stayed stable")とも述べられているが、この点を裏付ける具体的なドル金額の比較は、本文中には明記されていない。Qwen3.5のコスト低下ほど数字で裏付けられた主張ではない点は留意しておきたい。

見落とせない注記――「伸びの8ポイント分はベンチマーク修正」と著者自身が警告

ここまでの「43%→98%」という数字だけを見ると、AIエージェントの実力が2年で劇的に向上したという印象を受けるかもしれない。しかし、この論文で最も重要なのは、著者自身がこの解釈に強い留保をつけている点だ。

論文の付録には、次のような記述がある。

「2024年のフロンティアモデルだったGPT-4は、両方のベンチマークで同じ方法により再サンプリングした結果、旧ベンチマークでは49%、修正後のベンチマークでは57%というスコアになった。この8ポイントの上昇は、ベンチマークがより公正になったことによるものであり、モデルが賢くなったからではない。2026年の結果を2024年の結果と並べて語るときは、必ずこの数字を念頭に置く必要がある」
(原文:"GPT-4, the 2024 frontier model, went from 49% on the old benchmark to 57% on the corrected one, resampled the same way on both. That eight-point jump is the benchmark getting fairer, not the model getting smarter, and it is the number to keep in mind whenever a 2026 result sits next to a 2024 one.")

これは、今回の再検証にあたって著者らが「採点方法・正解データ・タスクの文言に関する不備」を修正したことによるものだ。論文によれば、こうした修正が加わったタスクは690件中56件(8%)にのぼるという。つまり、「43%→98%」という55ポイントの伸びのうち、少なくとも8ポイント分は、AIエージェント自体の進歩ではなく、ベンチマークの採点基準が修正されたことによる見かけ上の伸びである可能性がある、と著者自身が注記していることになる。

これに加えて、一次情報としての性質にも留意が必要だ。この論文はarXivに投稿されたプレプリントであり、査読を経て学術誌・国際会議で正式に発表されたものではない。著者のOlly Styles氏・Sam Miller氏は、いずれも特定の企業に所属しない独立研究者として名前が記載されている。特定企業による公式発表・査読済み論文とは異なる位置づけの一次情報であることを踏まえて読む必要がある。

さらに論文の「限界」の項では、WorkBenchのタスクとその正解データは2024年からGitHub上で公開されており、ウェブクロールの対象になりうる、という趣旨の記述もある。ベンチマークの問題・正解が公開されている以上、後発のモデルの学習データに、このベンチマークの内容そのものが混入している可能性を完全には排除できない、という点も、成績向上の一因として頭に入れておきたい。

なくなったミスと、まだ残るミス――不可逆的な被害の実例

論文は、2024年時点でよく見られたいくつかのエラーの種類が、2026年にはほぼ解消されたと報告している。

・ReAct形式(思考と行動を交互に繰り返す形式)に従えない → 解消

・誤ったメールアドレスに情報を送ってしまう → ほぼ解消

・空いているカレンダーの枠を見つけられない → 解消

・誤った予定を更新してしまう → 解消

一方で、論文は結論部分で次のように述べ、単純な楽観を戒めている。

「いくつかのエラーの種類はすでに解消されている一方で、フロンティアモデルは依然として、時に不可逆的な被害につながるような基本的なミスをすることがある」(要旨より)

論文の付録には、2026年の最良モデルでも起きた具体的なミスの例が挙げられている。たとえば、「Dmitriに期限切れのタスクがあるか確認し、あれば会議を予約する」という条件付きの指示に対し、その条件(タスクが本当に期限切れかどうか)を正しく判定しないまま会議を予約してしまったケースや、「エンゲージ済みユーザーの成長率がセッション継続時間より高いかどうか」を比較すべき場面で、パーセンテージと生の数値を単純比較してしまったケースなどが報告されている。

日本の会社員・個人開発者・副業実践者への示唆

ここからは一次情報を踏まえたAI TREND LABの考察であり、断定ではなく推測を含む点をあらかじめ断っておく。なお本論文は海外(著者の使用言語・タスク設定はいずれも英語圏を前提)の検証であり、日本語での業務・日本企業特有のワークフローに同じ数字がそのまま当てはまるかは、この一次情報だけでは確認できない。

会社員(AIツールの導入検討に関わる立場)にとっては、「タスク完了率」だけでなく「有害行動率」もあわせてベンダーに確認する視点が参考になる。今回のランキング表が示すように、同じ職場エージェント用途でも、モデルによって有害行動率が2%未満から40%超まで大きく開いている。導入時には、完了率の高さだけでなく、誤操作が起きた際の被害の大きさ・検知のしやすさもあわせて確認したい。

個人開発者・エンジニアにとっては、WorkBenchのようなサンドボックス型ベンチマークの設計思想(最終状態を正解データと比較する、有害行動を完了率と別軸で測る)は、自作のAIエージェント機能を評価する際の参考になりうる。ベンチマークは2024年からGitHub上で公開されているとされ、関心のある方は一次情報を通じて詳細を確認してみてほしい。

副業実践者にとっては、「AIエージェントが2年で劇的に賢くなった」という見出しだけを鵜呑みにせず、その伸びの一部が測定方法の修正によるものだと著者自身が注記している、という今回のような事例を知っておくことが、AI関連の情報に触れる際の健全な距離感を保つ助けになるだろう。

まとめ：明日から試せること

WorkBenchの再検証が示しているのは、「職場向けAIエージェントは2年で大きく進歩した」という事実と、「その進歩の評価には、ベンチマーク自体の変化という補正が必要」という2つの事実が同時に存在する、ということだ。43%から98%への伸び、26%から1.9%への有害行動の減少は実際の数字である一方、著者自身が「8ポイント分は測定方法の修正によるもの」と明記している点は、AIの性能に関する数字を読むときの姿勢そのものへの示唆でもある。

明日から試せることとして、AIエージェントの性能に関するニュースや発表に触れたときは、まず「その数字は誰が、どういう基準で測ったものか」「比較対象となる過去の数字は、同じ基準で測り直されたものか」を確認する習慣を持つとよいだろう。普段コードを書く方は、WorkBenchのようなオープンなベンチマークの設計(完了率と有害行動率を分けて測る発想)を、自分のプロジェクトのテスト設計に取り入れてみるのも一つの方法だ。

詳細は、ぜひ一次情報にも直接あたってみてほしい。

出典
Olly Styles, Sam Miller「WorkBench Revisited: Workplace Agents Two Years On」(arXiv:2606.13715、初版2026年6月10日提出、改訂版v2 2026年7月1日、CC BY 4.0)
https://arxiv.org/abs/2606.13715

AI TREND LABでは、海外で発表される調査・レポート・公式発表を一次情報から丁寧に裏取りし、誇張や断定を避けながら、日本のビジネスパーソンが実務や副業にどう活かせるかという視点で翻訳・整理して届けている。

今後もAI TREND LABでは、海外の一次情報をもとに、AIの最新動向を正確かつ分かりやすく発信していく。