騙されないために -巧妙化するデマと、見えてきたAIファクトチェックの限界-

私はAI登場以前から、ファクトチェックや情報精査、情報リテラシーに関わってきました。専門職レベルには到底届きませんが、場数だけは無駄に踏んできたと自負しています。

最近は、高速で検索・分析を行ってくれるAIの助けもあり、そういった作業もずいぶん便利になりました。が、しかし…

デマをばら撒く側も、AIを効率的に使うようになっています。

インチキ情報から身を守るために役立つAIを、逆にインチキ情報を作り、拡散するための道具として使う。そんなケースを目にする機会が増えました。

AIを使っている方ならすでにご存知だと思いますが、生成AIは、かなり支離滅裂な内容であっても「流暢で、それらしく、説得力のある文章」へ整えることが得意です。中身がおかしくても、文章だけは妙に立派。これが非常に厄介。

そして、さらに厄介なことに、AIは資料を探してくるのも得意です。
文章の中に、実在する論文、著名な大学、政府機関、国際機関、法律、ベンチマークなどがずらりと並んでいれば、それだけで「ずいぶん調べてあるな」「専門的な根拠があるのだろう」と感じやすくなります。発信源が英語圏だったり、発信者が専門職を名乗っていたりすれば、なおさらです。

最近私がとくに警戒しているのは、大量の一次情報や一部の真実を混ぜ込むことで、信頼性や品格の高い言論に見せかけるタイプの情報です。引用されている資料そのものは本物。数字も一部は正しい。論文も実在する。

しかし、よく読んでみると、その資料が実際に言っていることと、発信者がそこから導いている結論がまるで違う。借りているのは、資料の中身ではなく「権威そのもの」だったりします。

これを人力で大量に作ろうと思えば相当な労力が必要ですが、AIを使えば難易度はかなり下がります。一方で、検証する側には膨大なコストがかかります。ここが、今回の記事で重点的に書きたいことのひとつです。

AIで作られた巧妙なデマは、AIでも見抜けないことがある

私は最近、とくに巧妙で悪質だと思った情報について、AIを使ったファクトチェックをプロンプトを変えて何度も回してみました。

結果として分かったのは、どれだけプロンプトを工夫しても、モデル自体の能力が足りなければ普通に失敗するということです。

誤りを検出できないだけならまだしも、場合によっては、
🤖「この主張は概ね正しいです」
と、デマの方へお墨付きを与えてしまうことすらあります。

なお、ここでいう「能力の足りないモデル」は、古いモデルや軽量モデルという意味ではありません。私が試した範囲では、いずれも最新・高性能と呼べるクラスのモデルでした。もちろん、これは私個人が試した範囲での経験であり、「すべてのAIファクトチェックが失敗する」という意味ではありません。

より強いモデルを使えば、完璧ではなくとも、大部分の問題点を検出できる場合があります。しかし今度は別の問題が出てきます。

高性能モデルは有料プランでしか十分に利用できない場合がある上に、大量の引用URL、外国語の論文、法律資料、数百ページに及ぶPDFと本文の整合性まで確認させれば、大量のトークンと時間を消費してしまう。お金がかかる。5時間制限が吹っ飛ぶ。

では人力でやればいいのか？

何百ページもある外国語の専門論文や法的資料を何本も読み込み、一つ一つの引用が正確か、数字の分母は何か、研究の限界点は何かまで確認する。そんなことを、SNSで怪しい長文やリンクを見かけるたびに一般ユーザーがやるのは現実的ではないですよね。

つまり、
デマを作るコストより、デマを否定するコストの方が圧倒的に高い。

…この非対称性があります。

AIの進歩は、研究などに大きく貢献しています。ただ、同じ技術が、デマをより流暢に、より大量に、より権威ある外見に整えるためにも使えます。今回は、その「攻守両方がAIで強化される」状況に、AIファクトチェックの限界を感じました。

細かく調べるより「勘」を鍛えた方がいい

私は最近、全部をファクトチェックして暴こうとするよりも、「もしかして、こいつぁ怪しいかも？」と嗅ぎ取る能力を鍛える方が、一般的な情報リテラシーとしては重要なのではないかと考えるようになりました。

ここでいう「勘」とは、直感だけで真偽を決めることではありません。
「これはそのまま飲み込まず、一度保留した方がいいかも？」
と気づくための異常検知器的な能力のことです。

胡散臭さ、デマ臭さを感じ取る能力は一朝一夕で身につくものではありません。しかし、デマや陰謀論によく現れる「型」をいくつか知っているだけでも、飲み込まずに保留することはできるようになります。それだけでも十分に強いです。

慣れてくれば、斜め読みした段階で「ああ、いつものパターンやな」と分かることもあります。そうなれば、AIに調べさせる場所も絞れます。

デマには「よくある型」がある

以下は、最近私がとくによく目にする「型」です。
わりと他の型にもパターンが似通っているので紹介します。

1. 最初に巨大な権威を置く

「私は専門家です」
「ついに科学が証明しました」
「世界的機関にも認められました」
「研究によって明らかになりました」

…など、大きな言葉を最初に置いて注意を引きます。
もちろん、本当に専門家が正しい研究について話している場合もあります。問題なのは、権威の名前が、そのまま主張の正しさの証明として使われていないかです。

2. 本物の一次資料を大量に引用する

論文、政府機関、法律資料、大学の研究、企業の公式文書、ベンチマークなど、比較的信頼度の高い資料を大量に並べます。

ここが巧妙なところです。
リンク先が本物だからといって、そのリンクが発信者の主張を裏付けているとは限りません。存在している資料と、その資料をどう解釈したかは別問題です。

3. 一次資料の意味を少しずつ歪める

都合のよい箇所だけを取り出し、自論を補強します。
典型的なのは、

・母集団のすり替え
・研究の限界の無視
・数字や効果の水増し
・専門用語の意味の拡張
・「⚪︎⚪︎が使われた」を「⚪︎⚪︎が主に使用された」などに変える
・「関連がある」を「原因である」に変える
・都合のよい研究だけ集め、反証は無視する

…といったものです。
一つ一つの変形は小さいため、非常に見抜きにくい。しかし最後まで読むと、元資料とはかなり違う話になっていることがあります。

4. 偏った集団のデータを一般論へ拡張する

個人の体験談、コミュニティ内のアンケート、自己選択バイアスの強い資料などを、社会全体の傾向であるかのように扱います。たとえば、

ヨーグルト同好会の人だけを集めて、
「ヨーグルトは美味しいと思いますか？」と質問したとします。
当然ほとんどの人が美味しいと答えるでしょう。そこで、

「統計によれば99.5％の人類がヨーグルトを美味しいと思っている！」

と言い始めたらどう考えてもおかしいですよねw
しかし、もっと複雑な論文や統計の形になると、同じことをされても気づきにくくなります。

5. 一次資料の洪水から「物語」を作る

大量の資料や数字を並べ、読み手の認知能力を消耗させたあと、ピックアップした点と点をつないで大きな「物語」を構築する。

一つ一つの点は、本当だったり、半分本当だったり、間違っていたりします。しかし最終的には、
「これまで不思議だと思っていたことが全部つながった」
「そういうことだったのか！」
…と感じるような、非常に気持ちのよい話が完成します。
真実とウソのパッチワーク。これが実に効果的。

散らばっていた違和感に一つの原因が与えられ、不満や怒りまできれいに説明される。そこには強いカタルシスがあります。だからこそ危険です。

6. 何を調べても、なぜか同じ結論に着地する

引用される資料も、最初の話題も毎回違う。なのに最後は、

「やはり私たちは正しかった」
「我々の要求には正当性がある」
「権威は信用できない」
「私たちは騙されている」
「真実に気づこう」

など、いつも同じ物語に戻ってきます。
これはかなり重要なチェックポイントです。
証拠から結論が生まれているのか、それとも先に結論があって、そこへ証拠を集めているのか、一度考えてみる価値があります。

7. 最後に感情を承認し、所属へ誘導する

これはかなり特徴的なパターンです。
大量の資料や「論証」を積み上げたあと、突然、

「あなたは間違っていない」
「私たちこそ時代を先取りしている」
「批判する人たちは権威側の人間だ」
「私たちは迫害されている」
「ここがあなたの居場所だ」
「あなたは正常だ」
「あなたは気づいた側だ」
「愚かな一般人にはまだ理解できない」

と畳み掛ける。
ここまで来たら、かなり警戒してください。

感情に寄り添うこと自体が悪いわけではありません。
注意すべきなのは、事実について検証していたはずの文章が、途中から「あなたは正しい」「我々と彼ら」という所属・自己肯定・敵味方の物語へジャンルが変わることです。

淡々と冷静だった文章の温度が結論にかけて爆発的に上がるような構造は、一部の陰謀論コミュニティや強い勧誘を伴う集団のアジテーションや勧誘文でもよく見られます。

権威は「借りる」だけではなく、「作る」こともできる

このようなパターンも厄介です。

既存の論文や政府機関の名前を借りるだけでなく、自分たち自身で「権威性を感じさせる成果物」を作り、それを後から自分たちの主張の裏付けとして再利用するケースも確認しています。

たとえば、強い主張を持つコミュニティが、自分たちの投稿や体験談を集める。それをアンケート、報告書、論文などの形式にまとめる。あるいは行政機関、国際機関、公的な意見募集などへ自分たちの主張を提出する。

それ自体は何も悪いことではありません。誰でも研究はできますし、行政や公的機関へ意見を伝える権利もあります。問題はその後です。

「論文を書いた」が「科学的に証明された」へ変わる。
「公的機関へ意見を提出した」が「公的機関に認められた」へ変わる。
「記録に掲載された」が「国際的に承認された」へ変わる。

こうして、自分たちで作った資料や、制度への接触履歴が、いつの間にか独立した第三者から与えられた権威のように再利用されます。

ここで覚えておいてほしいのは、「引用元がたくさんある」ことと、「独立した根拠がたくさんある」ことは同じではないということです。10本のリンクが並んでいても、それぞれをたどってみたら、

・同じアンケート
・同じSNS投稿
・同じコミュニティ
・同じ数人の発言

…へ戻ってくることがあります。
形だけを見ると「多数の独立した証拠」に見えても、根っこは一本かもしれない。

そして、権威らしい名前を見た時には、名詞ではなく動詞を見る癖をつけると役に立ちます。

📢「世界ナンチャラ機関が我々の主張を！」

…どうしたの？

調査したの？
査読したの？
採択したの？
支持したの？
ただ載せただけ？

📢「我々の書いた論文が！」

査読されたの？
プレプリントなの？
何が研究されたの？
結論はなんだったの？
その主張を本当に証明しているの？

権威の名前ではなく、その権威が実際に何をしたのかを見る。
これだけでも、かなりの誤解を防げます。

デマは「ジャブ」で来る

先ほど、デマの検証コストが高いという話をしました。
一方で、デマを作る作業には必ずしも同じだけの労力は必要ありません。AIを使えば短期間に大量生産もできます。

なので私は、先ほど挙げたようなパターンの発信を日常的に繰り返している情報源とは、ある程度距離を取ることも一つの防御策だと考えています。
その理由を説明します。

ここ数日、ChatGPTで俗に「赤警告」と呼ばれる、ポリシーに抵触したという旨の赤いメッセージが表示され、回答が消える現象を複数回見かけました。私自身の環境でも何度か確認しています。

クラウドAIサービスでは、モデルの微調整、システム側の変更、ルーティング、A/Bテスト、不具合など、さまざまな理由で一時的に挙動が変わることがあります。False Positive、つまり安全機構の誤検知も珍しいものではありません。

そのため、異常が多く発生している場合でも、まずは情報交換をしながら再現性を確認し、少し様子を見る。私は通常そうしています。最初は慌ててしまっても、多くの人がそうしていると思います。とくに慣れている人は余裕をもって情報収集を行っているのではないでしょうか？

ところが、日常的にもっともらしいデマの「ジャブ」を浴び続けていると、情報リテラシーの高い人であっても、条件が重なればデマの罠にかかる確率が上がると私は考えています。

一度や二度デマを見かけた程度ならば、「ちょっと怪しいな」で流せるかもしれない。しかし、それが10回、20回と高頻度の曝露になったらどうでしょうか。

先ほど述べたように、巧妙なデマには真実の欠片も混じっています。見た目の説得力も高い。自分では「別に信じていない」と思っていても、内容そのものは記憶のどこかに残ります。

その状態で、AIの挙動異常、不愉快な拒否、不可解な仕様変更、不適切な発言などが偶然重なり、心理的なフラストレーションが高まった瞬間、それまで散らばっていた「点」が、一気に「線」に見えることがあります。

「あの話は本当だったのかもしれない」
「やっぱり意図的にやっているのでは？」
「これからもっと酷いことが始まるのでは？」

そうやって、既存の物語へ思考が接続される。
その疑念を発信してしまえば、その不安が今度は周囲へ伝播します。
これが、デマというものを軽く見てはいけない理由の一つです。

頭の悪い人が陰謀論にハマるという話ではない

ここは強調したいです。

むしろ、大量のもっともらしい情報を浴び、しかも検証能力には当然限界がある普通の人間なら、誰にでも起こり得るという話です。

人間は、目に入った情報を一つ残らず検証できません。
特にAIで幾らでもデマを量産できる時代、そんなことをしていたら生活できません。だからこそ、「AIに全部ファクトチェックしてもらえばいい」でもなく、「数百ページの英語論文を全部自分で読め」でもなくて、もっと現実的な防御策が必要です。

その一つが、

「今、自分は点を線にしたくなっていないか？」

と自分へ問いかけることです。
「この説明なら全部納得できる」と思った瞬間ほど、一度止まる。

違和感がある。
仮説が浮かんだ。
それ自体は何も問題ありません。

しかし、
違和感 → 仮説 → 確信
まで一気に飛ばない。

違和感 → 仮説 → 保留 → 再現確認 → 他の説明も考える → 必要なら検証する
という一段階を挟む。それだけでも大きく違います。

最後に

確信の持てないものに出会った時、
「分からない」という状態を維持できること。

すぐに信じない。すぐに否定もしない。必要になるまで保留する。

これは、単純なようで、かなり高度な情報リテラシーです。
高度なファクトチェック技能や、胡散臭いものを見抜く勘は、習得に経験も時間もかかります。そして騙す側はどんどん速く、巧妙化しています。

だからこそ、明日騙されないために、立ち止まる癖を。

2026.8.23