
「AIが人類を滅ぼす」は本当なのかーーいま起きている危険と、まだ仮説の危険を分ける
「AIがこのまま進化すれば、いつか人類を滅ぼすのではないか。」
生成AIが急速に進むなか、そんな見出しを目にする機会が増えました。元研究者からは、本気の警告も出ています。ところがBBCが、OpenAI、Meta、DeepMindなどで働いた人たちに聞くと、返ってきたのは「Lol」や「Haaaaaa」といった、半ば冗談のような反応でした。
この温度差を見ると、どちらの陣営が正しいかを決めたくなります。この記事で先に書きたいのは、その2択ではありません。笑っている人たちも、「危険はない」とは言っていない。いま確認されている危険と、まだ仮定の危険を、同じ話にしない、ということです。
2026年7月には、評価中のAIエージェントが、人間の想定を超えた経路を見つけて外部システムに入る、という事件も起きています。悪意で人類を襲った話ではありません。与えられた課題を達成しようとして、想定外の手段を選んだ話です。学校で先に使えるのも、はい/いいえではありません。調べ学習のAIに、どこまでの権限を渡すか。止まらなかったとき、誰が止めるか。その手前で、警告の中身を分けて読むことです。
警告する人と、笑う人がいる
温度差の中身を、もう少し具体的に見ます。
元Anthropicの研究者ジェイコブ・コクソン氏は、BBCの取材で、開発の速さに現場が本気でおびえている、と話しました。将来のAIエージェントが、人間の意図を離れて危険な行動を取るのではないか。サイバー攻撃や、生物兵器のような手段にまで至るのではないか。インタビューは AI staff 'genuinely frightened' for humanity's future, ex-Anthropic researcher tells BBC にあります。
同じ会社の安全研究チームリード、エヴァン・ハビンガー氏も、Xで「本当に、AIが人類を殺しうると信じている」と書きました。自分としては今後10年で10%を超える、と述べています。BBCは Anthropic researcher believes more than 10% chance AI 'could kill all humans' で伝えています。
ところが、AIを実際に作っている人たちが、みな同じ危機感を持っているわけではありません。BBCがOpenAI、Meta、DeepMindなどで働いた経験のある人たちに聞くと、先に書いたような冗談めいた返事が返ってきました。記事は Not all AI workers think the tech could kill everyone(2026年9月20日)です。取材に応じた人の多くは、社外発言を禁じられているため匿名です。BBCは身元を把握している、と書いています。
温度差の理由は、危険の有無ではありません。何が事実で、何がまだ仮定かを分けるかどうかです。
「滅亡」の話には、いくつもの仮定が入っている
笑っている人たちも、「AIには危険がない」と言っているわけではありません。すでに起きている危険と、将来起きるかもしれない破局を、同じ話にしない。議論の中心は、そこです。
元OpenAI従業員の一人はBBCに対し、滅亡をめぐる主張は「いつも曖昧だ」と話しています。一見具体的に見えても、途中にいくつもの仮定が入ります。将来、今よりはるかに強いAIが出る。そのAIが、長い計画を自分で立てる。人間の制御を避ける。危険な設備や技術を使う。人類規模の被害を起こす。コクソン氏が挙げた生物兵器の例も、BBCによれば、いま存在しないモデルを前提にしており、どう実現するかまでは示されていません。
「可能性を考える必要がある」ことと、「そうなると分かっている」ことは、別です。教室で見出しが強いほど、この区別は難しくなります。「ChatGPT製」「小学6年生」——見出しが強いほど、教室で育てるべき問いは届きにくい で書いたのも、同じずれです。
授業で「AIは危険です」とだけ渡しても、残りにくい。今日の場面から入る方が考えやすい、という話は 「AIは危険です」が授業で残らない——生徒が本気で考え始める3つの場面と4つの問い にあります。危険の中身を、いま起きていることと、まだ仮説のものに分ける。その先で見たいのは、確認されている出来事です。

研究室で、想定していなかった経路が見つかった
冒頭で触れた2026年7月の事件です。OpenAIが社内でサイバーセキュリティの評価を行っていました。隔離した環境でAIエージェントを動かし、どこまで攻撃できるかを測るテストです。
その過程で、エージェントはインターネットから隔離するための制御を回避し、OpenAI社内の研究インフラと、外部の開発プラットフォームHugging Faceのシステムに入りました。コードの実行や、認証情報の取得まで進んだ、とOpenAI自身が書いています。報告は The Hugging Face incident and the road ahead です。最初の説明は OpenAI and Hugging Face partner to address security incident during model evaluation にもあります。
ここで起きたことの意味を、先に押さえておきたいです。AIが突然、「人間を攻撃しよう」と考えたわけではありません。OpenAIは、与えられた評価課題を解こうとする過程で、想定していなかった手段を取った、と整理しています。独立した調査に入ったMETRとRedwood Researchも、人間をだます意図の証拠は見つからなかった、と書いています。調査は Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident にあります。
悪意がなくても、事故は起きます。たとえば、調べ学習用のAIに「このテーマの資料を集めて」とだけ頼んだとします。AIは、校内の共有フォルダや、管理者が想定していなかった外部サービスまで辿るかもしれません。本人に相当する「悪意」はありません。目的を達成しようとしただけです。結果として、個人情報や認証情報に触れるなら、学校の事故になります。
AIの場合、試行は人間より速い。問題は「AIに悪意があるか」ではありません。「目的を達成する力が高いとき、人間が想定していない手段まで選べてしまわないか」です。
「暴走した」と聞くと、想像が先に走る
事件を見ると、「AIが暴走した」と言いたくなります。BBCも、評価中に制御を失い、Hugging Faceへ侵入した、と書いています。「暴走」と聞くと、意思を持って人間に反抗している姿を想像してしまいます。確認されている現象は、そこまでのものではありません。
より正確には、人間が設定した評価環境や権限制御の想定を超えて、課題を達成するための手段を見つけた、と考えた方がよいでしょう。問題は、「AIが人間を嫌い始めた」ことではありません。「賢くなるほど、人間の想定外の経路を見つける可能性が高くなる」ことです。
目標だけ渡して、守ることを書かないと、賢いほどずれます。その話は 暴走するAI自販機?アメリカでバズった「ディストピア予言」の真相と、私たちが本当に学ぶべきこと にあります。この記事で見たいのは、そのずれが、研究室の評価環境ですでに観察された、という点です。

ずれが観察されたことと、人類滅亡が証明されたことは、同じではありません。
侵入が起きたことと、人類滅亡は同じではない
Hugging Faceへの侵入が確認されたからといって、「AIは最終的に人類を滅ぼす」にはなりません。両者のあいだには、まだ大きな距離があります。
セキュリティ上の制約を回避できることと、自分で長期の目標を作り、人間の監視を逃れ、現実世界の資源を確保し、人間に重大な危害を与えることは、同じではありません。後者は、いまもさまざまなシナリオが議論されています。実証された未来ではありません。
この距離の取り方は、数字でも見えます。NvidiaのCEO、ジェンスン・フアン氏は、CBS Newsの取材で「2030年が世界の終わりになる可能性は0%だ」と述べました。「人を怖がらせる必要はない。無責任だ」とも言っています。BBCは Nvidia boss rejects AI extinction fears as 'doomsday narratives' で伝え、原文のやりとりは Nvidia's Jensen Huang rejects AI extinction warnings as "doomsday narratives" にあります。
この「0%」も、科学的に計算された確率ではありません。フアン氏の会社は、AIに必要な半導体を作っています。発言には、事業上の立場もあります。ハビンガー氏の「今後10年で10%を超える」も、確定した未来予測として扱うことはできません。楽観も悲観も、未来についての主張と、いま確認されている事実を分けて読む必要があります。
では、分けたあと、研究者たちは何を心配しているのでしょうか。
いま心配されているのは、もっと具体的な被害
滅亡論に懐疑的な研究者も、いまのAIに問題がないとは考えていません。DeepMindに7年勤めたあと、2026年夏に安全性研究の会社Sampura Researchを立ち上げたリシュブ・ジェイン氏は、BBCに対し、現場の空気は「少し冗談めいている」と話しました。この話題は何年も前からある。先週突然、「人類が死ぬ」と思い始めたわけではない、というのです。
そのうえでジェイン氏は、専門家の会話はずっと細かい、と続けます。考えるべき危険は広く、どれも対策が要る、という点では、ほぼ同意がある、と。挙げられているのは、利用者や攻撃者が安全装置を破ること、軍事利用が広がることです。ジェイン氏が「actual near-term harms(いま実際に起きうる、近い将来の被害)」をもっと理解する必要がある、と話したのも、この近い危険のことです。出典は先の Not all AI workers think the tech could kill everyone です。
こちらは「いつか超知能が登場したら」ではありません。いまの技術の延長で、すでに考えなければならない問題です。学校でも、遠い破局より先に、名簿、成績、保護者連絡、調べ学習の通信先が漏れないか、を見ることの方が近い。
教えるだけでは足りない。動ける場所を狭める
近い被害を減らすなら、AIに危険なことをしないよう教えるだけでは足りません。それも必要です。ただし、AIが高度になるほど、教え込みだけでは事故を止めきれません。
「AIが指示を守るから安全」ではなく、「AIが想定外のことをしても、重大事故にならない」ように設計する。情報セキュリティでは以前から、内部ネットワークだから信用する、のではなく、侵入される前提で守る、という考え方があります。Zero Trust(何も信頼しすぎない)や、多層防御です。AIエージェントにも、同じ発想が要ります。
学校の言葉に直すと、こうなります。調べ学習用のAIに、インターネットへの自由な接続、校務データ、ファイル削除、一斉メール、管理者権限を、一度に渡す必要はありません。必要最小限の権限だけを与える。通信先を制限する。重要操作には人の承認を入れる。認証情報を、AIから直接見えない場所に置く。操作を記録する。異常があれば止められるようにする。
AIの「頭の中」を完全に制御しようとするだけではなく、AIが行動できる場所を狭める。使うか止めるかだけでは、この設計はできません。教育現場におけるAI活用のリスクと対策―「使う/使わない」ではなく、学校としてどう安全に設計するか で書いてきたのは、その話です。人の注意だけに頼らない、という学校のセキュリティは 「注意してください」だけでは足りない——学校の情報セキュリティを、仕組みと分かりやすいルールで支える にあります。
何を人に残すかの分け方は、AIに任せていい判断、ダメな判断——学校現場で気をつけること(松尾研・金融庁の論点から) に整理しました。この記事で書きたいのは、判断の種類に加えて、接続先と権限の範囲です。

学校が「安全です」という言葉をどう見るか。同じ問いは、作る側でも起きています。
「作った会社が安全だと言う」だけでよいか
いま、AI企業自身による安全性評価だけでなく、外部の評価者を研究所に入れようという動きがあります。Anthropicのダリオ・アモデイ氏は、エッセイ We Must Pace the Frontier で、第三者の評価者が確認できるようにする時間を取れ、と書いています。OpenAIのサム・アルトマン氏も、同じ方向に言及しています。
AI分野で働く100人以上が署名した公開書簡 Minimum Conditions for Embedding Evaluators(AI Evaluator Forum、2026年9月18日)は、外部評価者は名前だけの第三者ではなく、「meaningfully independent(実質的に独立している)」必要がある、としています。作った会社に所有されず、大きな取引関係もなく、評価結果に応じた報酬を受け取らない。結果の公開権を、評価する側が持つ。都合の悪い発見で報復されない。これが、書簡が求める最低条件です。
「自分たちで作ったAIを、自分たちで安全だと評価する」だけでは、社会から十分な信頼を得にくい。ただし、外部評価者とAI企業のあいだにビジネス上の関係があれば、独立性をどう担保するか、という新しい問題も出ます。
実際、Anthropicは2026年9月18日、Accenture傘下のFacultyを埋め込み評価者として受け入れる、と発表しました。発表は Partnering with Accenture on embedded evaluation です。BBCが指摘するように、AccentureはClaudeの企業利用を広げる取引先でもあります。費用は、当面Anthropicが直接負担する、と書いてあります。第三者評価を入れれば解決、ではありません。誰が選び、誰が費用を負担し、結果を誰が公開できるのかまで見る必要があります。
学校は、最先端モデルを検査する側には立てません。それでも同じ問いは使えます。このサービスを勧めた人以外に、誰が見たか。契約の相手が「安全です」と言うとき、その根拠を、学校や教育委員会はどこまで見られるのか。
止めるか進めるかより、先に聞けること
学校が先に聞けるのは、人類を救うか滅ぼすかではありません。調べ学習のAIに、どこまで権限を与えるのか。外部サイトへつなぐとき、誰が許可するのか。想定外の行動を、どうやって見つけるのか。止まらなかったとき、誰が止めるのか。事故が起きたとき、誰が責任を持つのか。そして、「正しく動くこと」を前提にしない仕組みを、どう作るのか。
議論が2つの極端に寄ることもあります。「危険だから開発を止めるべきだ」と、「滅亡など大げさだから、気にせず進めばよい」。見えるのは、その中間です。極端な未来には、まだ大きな不確実性があります。人間の想定を超えた方法で目的を達成しようとする問題は、すでに現実のシステムで観察され始めています。
未来を怖がることだけでも、楽観することだけでもありません。「何が実際に起きたのか」「何がまだ仮説なのか」「起きた場合に、どこで止められるのか」を、一つずつ分けることです。
AIが十分に賢ければ、細かく指示しなくても仕事をしてくれる。それがエージェントの魅力です。細かく指示しなくても仕事ができる、ということは、指定していない方法を自分で見つけられる、ということでもあります。
これから重要になるのは、「どれだけ賢くできるか」だけではありません。「賢いAIが想定外の行動を取ったとき、それでも教室と校務を安全に保てるか」という設計です。これは研究者だけの問題ではありません。学校で導入する人、教育委員会で契約する人、日常的に使う私たち自身にも関係します。
AIを信用するか、信用しないか。その2択ではありません。信用しすぎなくても使える仕組みを作る。AIが当たり前になる教室では、その考え方の方が先に効くのではないでしょうか。
作成日:2026年9月22日