Claude CodeとPokemon KaggleをやってわかったAIエージェントの限界｜人間がやるべき3つの仕事

Kaggle で開催中の Pokémon TCG AI Battle Challenge に、Claude Code とペアで6日間ほど集中して参加しています。

ベースラインから少しずつスコアを伸ばし、途中で大きく踏み外して戻ってきた、というような期間でした。手法そのものはコンペ規約上ここでは書きませんが、その6日間でいちばんはっきり見えたのは「Claude Code がどれだけ速くても、人間が握っていないと前に進まない仕事が3つある」ということです。

現在の順位:

まず、6日間で何が起きていたか

期間中、私のリポジトリには PR が積み上がっていきました。負けログ解析ツールに2万行超、デッキの中身を可視化するための Web GUI に1400行ほど。コードの99%は Claude Code が書いています。

普通に手で書いていたら何週間もかかる規模の足場を、いくつもの「ちょっと欲しい」をきっかけに、その日のうちに作ってしまえる。これは本当に異常な生産性です。

ところがその同じ期間に、私は1度、本番スコアを大きく落としました。ローカルで十分に検証したと思っていた変更が、本番だけで派手に崩れたのです。

このとき直感したのが、Claude Code は「速く・正確に・大量に」書く仕事は完全に肩代わりしてくれるけれど、その手前と、その後ろにある仕事は意外と人間に残っている、ということでした。順に3つ挙げます。

限界1: 「何で勝つか」の仮説は人間がやる

期間中、私のスコアがいちばん大きく伸びた一手は、Claude Code が出した提案ではありませんでした。

可視化ツールを見ながら何試合か眺めていて、「あれ、これ足りてなくない？」とポロッと出てきたユーザー側の観察です。Claude Code に「この観点で本当に足りてないか測ってみて」と頼んだら、すぐに測ってくれて、足りていないことが裏付けられた。あとは打ち手を考えて実装してもらうだけでした。

ここで気づいたのは、AIエージェントは「観測されているものの中で」最適化するのが本当に得意だということです。観測軸が決まっていれば、計測も比較も改善案の列挙も猛烈な速さでこなしてくれる。

でも、「いま自分が見ていないところに、本当のボトルネックが眠っていないか？」という問いを立てるのは、依然として人間の仕事でした。これはたぶん、Kaggle に限らず、AI でなにかを最適化する全ての仕事に共通する話だと思っています。

限界2: ドメイン知識を「効果差」に翻訳する仕事

カードゲームには「このカードを使うと何ダメージ増える」「このタイミングでなら逃げられる」というルールが大量にあります。これらは Claude Code もテキストとして読めます。

問題は、その効果が「具体的にどの相手を、どの順番で、何ターン目に倒せる/倒せないラインを動かすか」という勝敗に直結する形に翻訳できるかどうかです。

ここはルールの暗記ではなくて、相手の体力分布や登場順、自分のリソース回りまで頭の中で組み上げて初めて答えが出ます。表面上は「+50 増える」だけのカードが、実は「いままで倒せなかった相手が1ターンで倒せるようになる」境界をまたぐかもしれない。

私が試したかぎり、Claude Code はテキスト情報を整理することは得意でも、こうした「効果差が本当に勝敗を動かすラインまで届くか」を自発的に問う動きはあまりしません。問えば答えてくれます。でも、問わなければ気づかない。問いを立てるのは、ゲームを実際にプレイしている人間の役目でした。

限界3: 評価環境を疑う仕事

6日間でいちばん痛かった出来事がこれです。

ローカルでの検証では「変わらない（誤差の範囲）」と出た改善を、Claude Code と一緒に「ノイズの範囲だね、行こう」と言って本番に出しました。結果、本番では勝率が大きく崩れました。あとから原因を分析すると、ローカルの想定対戦相手では、追加したロジックがそもそも発火する条件にならなかっただけだったのです。

これは Claude Code を責める話ではありません。私が「ローカルとの差が誤差の範囲」というデータをそのまま受け取って、「環境のほうが間違っているかもしれない」という疑いを保留してしまったのが原因です。AI は与えられた数字に対しては誠実です。だからこそ、「その数字を出した環境が、いま本番で起きていることを再現できているか」を疑える人間が必要でした。

この事故の後、私が最初にやったのは新機能を足すことではなく、「これから先、新しい候補は必ず過去ベストと head-to-head で殴り合わせてから提出する」というガードを足すことでした。これは Pokemon の話ではなく、AI コーディング全体に効く話だと思います。AI が高速に変更を入れられるようになるほど、「いつもの環境で測って大丈夫そう」だけで通すリスクが上がります。

似た悩みについては、以前 大規模コードベースでClaude Codeが頼りない理由｜「足場」を整えれば変わる と AIコード生成の盲点｜見落とされやすい5パターンとセキュリティチェックリスト で書きました。今回の経験は、評価環境という別の角度からこの2記事と地続きの話でした。

じゃあ人間は何をやるべきか — 残った3つの仕事

ここまでの限界をひっくり返すと、AI エージェントと組んで成果を出すために人間が残しておくべき仕事は、たぶん次の3つです。

1. 仮説提示者: 「いま見ていない場所に本当のボトルネックがないか」を疑い、観測軸を1つずらす役。AI は軸の中で最適化するのは速いが、軸そのものを選び直す役は人間に残る

2. ドメイン通訳者: ルールや仕様の差分を「勝ち負け／成功失敗を本当に動かすラインまで届くか」に翻訳する役。AI はテキストを整理してくれるが、効果差を勝敗に紐づけるのは現場の経験

3. 評価環境の懐疑者: 「いつもの環境で測って大丈夫そう」を疑う役。本番ギャップを織り込んだ回帰検証の枠組みを設計する。AI に高速に書かせれば書かせるほど、この枠組みの価値が上がる

3つともコードを書く仕事ではありません。考えて、疑って、設計する仕事です。Claude Code は、人間がこの3つをやり切るための「実装と計測と可視化」を恐ろしい速さで肩代わりしてくれる相棒として、ものすごく強い。逆に言えば、この3つの仕事ごと AI に投げると、6日間で1回派手に踏む側に回ります。私が踏みました。

おわりに

コンペはまだ続いていて、私もまだ走っています。具体的な手法はここでは書けないので結論は抽象的ですが、6日間で得た一番の手応えは、AI エージェントが速くなるほど「人間が握っているべきところはどこか」がくっきりしてくる、というものでした。

「AI に任せられる仕事」と「AI に任せきると痛い目を見る仕事」の境界は、たぶん業界もテーマも関係なく似た形をしていると思います。読んでくださった方の現場でも、ここで挙げた3つの仕事は手元に残しておくと、AI と組んだときの事故が減るはずです。

#takibiラボ #takibiラボ_AI #ClaudeCode #Kaggle #ポケモン #AIエージェント #機械学習 #PokemonTCG