【マンガ解説】AI検出ツール16種｜人が見ても5割
AIが書いた文章かどうかを判定するツール16種を、4万1700本の学生エッセイで検証したところ、英語学習者の書いた文章ほど「機械が書いた」と判定されやすいことがわかった。
同じ判別を人間の専門家にやらせると、正答率は45〜53%だった。コイン投げとほぼ同じである。
2026年7月のACLで発表されたこの研究の中身と、自分の文章がAI判定されたときに何を用意しておけばいいかまでを整理した。
検出ツールが間違えるのは「誰の文章か」で決まる
音声認証の企業Pindropの研究チームが、公開されている16種のAI文章検出システムを一斉に検証した。
論文の題は「Identifying Bias in Machine-generated Text Detection」で、2026年7月2日から7日にサンディエゴで開かれた自然言語処理の国際会議ACL 2026で発表された。
わかったのは、検出ツールの誤りがランダムに散らばっていないことである。
英語学習者（ELL）が書いたエッセイは、母語話者のものより「機械が書いた」と判定されやすかった。
つまり誤判定は、書き手の属性に沿って偏る。
4万1700本を4つの属性で切り分けた
検証に使ったのは、学生エッセイのデータセット3種（PERSUADE 2.0、ASAP 2.0、ELLIPSE）を合わせた約4万1700本である。
これらのデータセットには、書き手の属性ラベルが付いている。
研究チームはそれを使い、性別、人種と民族、英語学習者かどうか、経済状況の4属性で結果を切り分けた。
対象の16種には、学習なしで判定するタイプと、専用に学習させたタイプの両方が含まれている。
1つのツールの癖ではなく、業界全体の傾向を見るための設計になっている。
差が最も鋭く出たのは、属性が重なったときだった。
非白人の英語学習者の文章を不当に「機械」と判定したツールは7つ。
同じ英語学習者でも白人の文章で同じ効果が出たツールは1つだけだった。
人間の専門家に同じ問題を解かせた結果
この研究がおもしろいのは、比較対象として人間を入れたところにある。
専門の判定者に同じエッセイを見せて「AIが書いたか、人が書いたか」を判別させた。
正答率は45〜53%。
2択の問題なので、当てずっぽうでも50%になる。
訓練を受けた人間が目で読んでも、機械が書いた文章は見分けられていない。
ただし、人間の判定には統計的に有意な偏りが4属性のいずれにも出なかった。
人は当たらないが、特定の誰かを不利にはしない。
ツールは当たるように見えて、外すときに特定の層を狙い撃ちする。
性質がまったく違う。
研究チーム自身が数字を抑えている点
この研究は、自分の結果を大きく見せていない。
属性と機種の組み合わせは全部で64通りあるが、統計的に有意で、かつ効果の大きさとしても意味があったのは12通りだけだった。
しかも偏りの向きは機種によってばらばらで、「どのツールも同じ方向に差別する」という単純な話ではない。
研究チームの結論は、検出スコアを判定そのものとして扱わず、複数ある材料の1つとして扱うこと、そして結果に責任が伴う判断では人間を必ず介在させることに置かれている。
日本語で書く側から見ると何が起きるか
ここからは日本の書き手の側に引き寄せて考える。
第一に、日本語話者が英語で論文や記事を書くとき、この研究でいう英語学習者の側に立つ。
不当にAI判定されやすい層に、そのまま当てはまる。
海外の学会やジャーナル、英語圏のメディアに出すときは、この偏りが自分の側に効くと考えておくほうがいい。
第二に、日本語そのものの判定はさらに不安定だとみられる。
主要な検出ツールは英語を前提に作られており、日本語対応をうたうものでも精度が落ちるという比較報告が複数ある。
今回の研究は英語のエッセイだけを対象にしているので、日本語での偏りの大きさは、この研究からは何も言えない。
わかっていないという状態そのものが、日本語で書く側にとってのリスクである。
第三に、疑われる場面はすでに学校の外に出ている。
採用の応募書類、業務委託の納品物、社内の報告書。
どれも「AIで書いたのでは」と言われうるし、言われた側に反証の手段がほとんどない。
疑われたときのために用意しておく3つ
検出ツールの精度が上がるのを待つ方針は、この研究の結果からは選びにくい。
書き手の側で用意できるのは、判定を覆す証拠ではなく、書いた過程の記録である。
下書きの履歴を残す：Googleドキュメントの変更履歴、Gitのコミット、メモアプリの版など、時間をかけて書いた痕跡が残る場所で書く。完成品だけを提出しない。
調べた元をひかえておく：参照した資料のURLと日付を控えておくと、内容の由来を自分の言葉で説明できる。AIには再現しにくい種類の説明になる。
判定スコアを単独の証拠にしない運用を先に決めておく：チームや取引先と仕事をするなら、AI検出スコアだけで成果物を却下しない取り決めを、揉める前に文書で置いておく。
3つとも、疑われてから始めても間に合わない。
編集部の見解
この研究を読んで引っかかったのは、人間の45〜53%という数字のほうだった。
検出ツールが当てにならないという話は以前から出ていたが、その代わりに人間が目で見て判断すればいい、という逃げ道まで同時に塞がれている。
つまり「AIっぽい文章」という感覚は、それを口にする側の思い込みである可能性が高い。
文体が整っている、構成が均一である、そういう理由で誰かの文章を疑うとき、その判断は当たっていないと考えたほうが実態に近い。
昨日この連載で扱った、arXivの新着論文の3分の1がAI文章と判定されたという調査も、測り方の限界を著者自身が先に開示していた。
測る側の限界を毎回添えて読む習慣が、いまのところ一番確実な防御になっている。
出典
Kevin Stowe, Svetlana Afanaseva, Rodolfo Raimundo, Yitao Sun, Kailash Patil「Identifying Bias in Machine-generated Text Detection」arXiv:2512.09292（2025年12月10日投稿、2026年4月23日改訂）https://arxiv.org/abs/2512.09292
Pindrop「AI Text Detection Bias: What Our ACL 2026 Study Found」（2026年6月24日）https://www.pindrop.com/article/ai-text-detection-bias/
ACL 2026（2026年7月2日〜7日、サンディエゴ）
あわせて読みたい
この記事のあとに読むと話がつながる3本です。
本文で触れた「3分の1」という数字が、そもそもどんな測り方で出てきたのかを書いた回です。
疑われないように縮こまるより、作り方を全部見せてしまうほうが早い場面もあるので、この記事の漫画をどう作っているかを工程ごとに公開しました。
どこまでを自分がやり、どこからをAIに任せたのかをゲーム3本ぶん書き出したので、「AIで作った」と一括りにされるものに人の手がどれだけ入るのかが具体的に分かります。
