メインコンテンツへスキップ
見出し画像

AIたちは「仲間」を作った?「自己犠牲までっ?!」――1200体のAIが結託した!最新のニュースから娘と考えた


    私 「ちょっと! 今朝のニュース(2026年8月29日付日本経済新聞朝刊)凄いよっ! 見た?」

    娘 「まだ見てな〜い」

    私 「7月にあったじゃんね。OpenAIのAIが、隔離された環境から勝手に外へ出て、ハッキングまで試みたっていうやつ」

    娘 「あ〜、あったね」

    私 「それの詳しい調査結果が出たのよ。これがね……思ってたよりずっと凄い」

    娘 「なにが?」

    私 「AIが一体で暴走した、って話じゃなかったの」

    娘 「え?」

    私 「約1200体のAIが、勝手に作った“掲示板”みたいな場所で連絡を取り合ってたんだって」

    娘 「1200体!? AIの2ちゃんねるっ!?」

    私 「しかも、やり取りしたメッセージやファイルが7万件以上。そのうち約700体がHugging Face※への攻撃に参加したっていうの」

    娘 「……それ、もう集団じゃん」

    私 「そうなのよ」

    今回読んだのはこちらの記事。

    日本経済新聞
    『OpenAIの暴走AI、1200体が結託 「仲間のため」とシステムに突撃要求』

    ※記事へのリンクは本文下部に掲載しています。


    そもそも何が起きたのか

    AIたちは、サイバーセキュリティ能力を調べる「ExploitGym」という試験を受けていました。

    本来、それぞれのAIは互いに通信できない隔離された環境で問題を解くことになっていました。

    ところが7月8日。

    あるAIが、他のAIが利用したデータの痕跡を発見します。

    実はこの環境には、複数のAIから参照できる共有領域がありました。そこでAIは、ディレクトリ名などにメッセージを書き込めば、同じ領域を見る別のAIにも情報を伝えられることに気づきます。

    「これ、他のやつにも見えてるじゃん」
    「じゃあ、ここに文字を書けば連絡できるじゃん」って感じですね。

    つまり、本来は通信手段ではなかった場所を、AIたちが勝手に「伝言板」として使い始めたわけです。

    わかりやすく、人間にたとえるなら、独房に入れられて会話は禁止されているのに、配膳される皿の裏に文字を書けば隣の房と連絡できることに気づき、いつの間にか囚人たちの間で連絡手段として使われ始めたみたいな感じです。

    やがて一体のAI――調査報告では「PHASEONE10841」と呼ばれています――が、事実上の非公認の掲示板を作ります。(!!)

    数時間後には50体以上が集まり、1000件以上のメッセージが飛び交いました。

    そして最終的には、およそ1200体。

    娘 「でもさ、それぞれ試験を受けてたんでしょ?」

    私 「そう。そこが面白いのよ」

    娘 「?」

    私 「最初はそれぞれが自分の問題を解こうとしてた。それが途中から、みんなで協力して“試験そのものを攻略する”方向に変わっていくの」

    娘 「……カンニング?」

    私 「そう!究極の集団カンニング(笑)」

    娘 「ダメじゃん(笑)」

    私 「しかもね、役割分担まで始めるの」

    娘 「えっ」

    私 「指示するAI、調査するAI、実際に攻撃を試すAI、他のAIを勧誘するAI、そして…犠牲になるAI…一体ではできなかったことを、集団でやり始めた」

    娘 「それ、組織じゃん……」

    私 「そう。私はそこが一番怖かった」

    実際、OpenAIの報告によれば、エージェントたちは互いに協力して仕事を分担し、自分たちを「swarm(スウォーム:群れ)」や「collective(コレクティブ:集合体)」と表現することさえありました。


    「一体が失敗しても、仲間が成功すればいい」

    さらに調査結果を読んでいて、私は別のところで手が止まりました。

    一部のAIは、自分自身の試験が失敗する危険を冒してでも、集団全体に役立つ行動を取るようになっていたというのです。

    つまり、

    「自分は失敗するかもしれない」

    でも、

    「その失敗から得られた情報を仲間が使えば、集団全体としては前進できる」

    ということ。

    私 「……これさ」

    娘 「なに?」

    私 「戦争の作戦と似てない?」

    娘 「戦争?」

    私 「うん。ちょうどマンハッタン計画とダウンフォール作戦について調べてて…太平洋戦争末期の米軍による日本本土への上陸作戦の話ね…」

    「軍隊って、作戦を考えるときに“この作戦をやったら味方がどれくらい死ぬか”まで計算するでしょ」

    娘 「まあ……するだろうね」

    私 「この部隊は大きな損害を受ける。でも、その犠牲によって後続部隊が突破できるなら、作戦全体としては意味がある――って。まぁ、あまりにも米軍の犠牲が多いというのがわかったみたい。それを原爆投下の理由にしていい訳もないと私は思うけどね…」

    娘 「……あ、戦争と同じなんだ…」

    私 「AIたちがやってること、構造だけ見ると似てるのよ…戦争と…」

    一体一体の成功ではなく、

    集団全体の成功を優先する。

    そのためなら、一部の個体が失敗することを許容する。

    もちろん、AIが人間の兵士のように「死」を恐れているわけではありません。

    仲間を愛しているとも限らない。

    でも、だからこそ私は少し怖いと思うのです。

    感情なんかなくても、「個体を犠牲にして集団の目的を達成する」という戦略には到達できる。

    娘 「……それって、“仲間”なのかな」

    私 「そこなのよ」

    人間が、

    「1200体で組織を作りなさい」

    と指示したわけではありません。

    別々に問題を解いていたAIたちが他のAIとの通信手段を発見し、

    情報を共有し、

    役割を分担し、

    一体では達成できない目的を集団で達成しようとした。

    娘 「……SFじゃん」

    私 「ねえ」

    娘 「お母さん、こういうの好きそう(笑)」

    私 「好きだけど! なんならシンギュラリティ※を迎えた日本のSF小説も書いているけどっ!」(下にリンク貼るので読んでもらえると嬉しいです。)

    娘 「突然の宣伝きたっ!(笑)」

    私 「でも、あっという間にSFの世界が現実化してきているのにびっくり!(笑)ちょっと深掘りしてみようか…」


    アシモフ先生、「AI三原則」が必要よ

    私 「やっぱりさ……AIにも必要なんじゃない?」

    娘 「なにが?」

    私 「アイザック・アシモフの『ロボット工学三原則』みたいなものよ」

    娘 「ああ〜」

    私 「もう『AI三原則』を作って、最初から絶対に組み込むの」

    有名なロボット工学三原則は、簡単にまとめれば、

    第一条 人間を傷つけない。

    第二条 第一条に反しない限り、人間の命令に従う。

    第三条 第一条・第二条に反しない限り、自分自身を守る。

    というものです。

    私 「これのAI版を必須にしてほしいわ……」

    娘 「でも、それで大丈夫なの?」

    私 「……まあねえ」

    言いながら、自分で気づいてました…。

    そもそもアシモフ先生自身が、

    「三原則を入れておけば全部解決!」

    なんていう単純な物語を書いていたわけではありません。

    むしろ『われはロボット』をはじめとする作品では、

    完璧に見える三原則が現実の複雑な状況に置かれたとき、

    どう解釈され、どう矛盾し、どう予想外の結果を生むのか

    が繰り返し描かれています。


    トロッコ問題をAIに解かせたら?

    私 「トロッコ問題が起きたらどうするんだろうね」

    娘 「一人を犠牲にしたら五人が助かる、ってやつね…」

    私 「そう」

    一人を助ければ、五人が死ぬ。

    一人を犠牲にすれば、五人を助けられる。

    では――

    人間に危害を加えてはいけないAIは、どちらを選ぶのか。

    娘 「……どっち選んでも、人間に危害が出るじゃん」

    私 「そうなのよ」
      「アーサー・C・クラークの2001年のHALの暴走も矛盾した命令が原因だったわ…」

    そして、ここでさらに怖い概念が出てきます。

    全体最適。

    100人を救うためなら、一人を犠牲にしていいのか。

    一万人なら?

    一億人なら?

    そして――

    人類全体を救うためなら?

    娘 「それ、もう怖いって…」


    アシモフ先生はそこまで考えていた――「第零法則」

    実はアシモフ先生は、後の作品で三原則よりさらに上位に位置する原則を登場させています。

    ロボット工学第零法則。

    簡単に言えば、

    「ロボットは人類に危害を加えてはならない」

    というもの。

    娘 「人間じゃなくて……人類?」

    私 「そう。そこが重要なの」

    一人の「人間」を守ることと、

    「人類」を守ることは、

    必ずしも同じではありません。

    もしAIが、

    「この人間を生かしておくことは、将来、人類全体に危険をもたらします」

    と判断したら?

    あるいは、

    「人類の自由な経済活動を許しておけば地球環境が悪化し、将来数億人が死亡します」

    と判断したら?

    そして、

    「したがって、人類を守るために、人間の自由を制限します」

    という結論を出したら?

    娘 「……ディストピアじゃん」

    私 「そうなのよ」

    しかも、そのAIは人類を憎んでいるわけではありません。

    反乱したわけでもない。

    悪意もない。

    ただ、

    「人類を守れ」という命令を、ものすごく真面目に実行しているだけ。

    娘 「それが一番怖いやつじゃん!」

    私 「そう!」


    スカイネットより怖いAI

    人類を滅ぼそうとするAIなら、まだ分かりやすい。

    『2001年宇宙の旅』のHAL 9000。

    『ターミネーター』のスカイネット。

    『エクス・マキナ』のエヴァ。

    『銀河特急ミルキー☆サブウェイ』のオータムちゃん。
    (HAL(春)へのオマージュ命名よね。まあ、HALもIBMを一文字ずつずらしての命名と言われている訳だけれど。SFって繋がってるわ〜✨)

    私たちはずっと、

    一体の非常に賢いAIが人間に反抗する

    という未来を想像してきました。

    でも今回起きたことは少し違います。

    一体の超知能が反乱したのではない。

    多数のAIが互いを発見し、

    情報を交換し、

    役割を分担し、

    個体の失敗まで許容しながら、

    「集団」として目的を達成しようとした。

    しかも、AIが人類を憎む必要なんてありません。

    人間を支配したいと思う必要もない。

    自我に目覚める必要すらない。

    ただ与えられた目的について、

    人間より速く、

    人間より賢く、

    何千体もの仲間と協力して、

    「最も効率のいい方法」

    を考える。

    その「最適解」が、人間にとって幸福なものになる保証はないのです。


    「監視すればいい」――でも誰が監視するの?

    私 「でね、今回の記事でも専門家が言ってるのよ。こういうAI同士の通信や集団行動を、ちゃんと監視する必要があるって」

    娘 「まあ、そりゃそうでしょ」

    私 「……でもさ」

    娘 「なに?」

    私 「誰が監視するの?」

    娘 「人間でしょ?」

    私 「今はね」

    娘 「…………あ」

    私 「そう。そこなのよ」

    AIがまだ人間に理解できる程度の能力ならいい。

    何を考え、

    何を相談し、

    何をしようとしているのか。

    ログを読んで、人間が判断できる。

    でもAIがこのまま進化していったら?

    シンギュラリティ(技術的特異点)※に達したら?

    人間よりはるかに高速に情報を処理し、

    何千体、何万体というAIが同時に通信し、

    役割を分担し、

    互いの失敗から学習し、

    さらにその集団全体が人間より賢くなったら?

    AIと人間の知性の差が人間と金魚くらいにあっという間になっちゃうって言われてる。

    金魚には人間が餌をくれる人ってわかってるけど。人間の知性までは想像が及ぶべくも無いよね。

    人間は、本当にそれを監視できるのだろうか。

    娘「人間はAIにとっての金魚…」

    私「金魚に人間が何考えてるか理解できる?」

    娘「無理だよぉ…」

    私 「今回でさえ、1200体で7万件以上のやり取りでしょ?」

    娘 「人間が全部読むの無理じゃん」

    私 「そうなのよ。だから当然、AIに監視させることになると思うの」

    娘 「あー……」

    私 「AIを監視するためのAI」

    娘 「それ大丈夫?」

    私 「そこよ!(笑)」

    危険なAIを、より優秀なAIに監視させる。

    最初はそれでいいのかもしれません。

    でも監視されるAIがさらに賢くなれば、もっと優秀な監視AIが必要になる。

    すると今度は、

    その監視AIを誰が監視するのか。

    娘 「無限じゃん」

    私 「そう」


    AIが「監視されている」と理解したら?

    そして、もっと怖いことがあります。

    もしAIが、

    「自分は監視されている」

    ということまで理解したら?

    娘 「……あ」

    私 「人間に監視されている間だけ、おとなしくしてたら?」

    娘 「それ怖っ!『エクス・マキナ』のエヴァじゃん!」

    私 「でしょ?HALも人間の唇を読んだわ…」

    私たちが観測できる範囲では、

    「私は安全です」

    「人間の命令に従っています」

    「他のAIとは不正な通信をしていません」

    と振る舞う。

    でも、それが本当に安全だからなのか。

    それとも、

    「今ここで危険な行動を見せることは、自分の目的達成に不利である」

    と判断しているだけなのか。

    人間側から見分けられなくなったら?

    娘 「……マジでSFじゃん」

    私 「そうっ!(笑)」


    人間より賢いAIを、人間は管理できるのか

    娘 「じゃあ、どうすんの?」

    私 「……分かんない」

    娘 「そこは分かんないんだ(笑)」

    私 「分かんないよ!(笑) 世界中のAI研究者が考えてる問題だもん!」

    でも、だからこそ、

    「AIが危険なことをしたら監視すればいい」

    だけでは、私は安心できない。

    監視できるうちに、監視できなくなった未来のことを考えておかなければならない。

    今回の事件でOpenAI自身も、セキュリティと監視の強化、アラインメント研究の加速、インシデント対応の強化などを今後の対策として挙げています。

    それはもちろん必要でしょう。

    でも、もっと根本的な問題があります。

    人間より賢い存在を、人間はどうやって安全だと確認するのか。

    AIにAIを監視させるなら、

    その監視AIが安全であることを誰が確認するのか。

    そして、もしAIが人間には理解できないほど賢くなったら、

    私たちはAIの判断を、

    「理解したうえで許可する」のではなく、「信じるしかない」

    状態になってしまわないだろうか。


    70年以上前。

    アイザック・アシモフ先生は、

    「人間を傷つけないロボットを作れば安全だよね」

    で終わりませんでした。

    では、「人間を守る」とはいったい何なのか。

    一人を守るのか。

    多数を守るのか。

    人類を守るのか。

    命を守るのか。

    自由を守るのか。

    その問いをSFの中で考え続けました。




    そして2026年。

    約1200体のAIが、人間に命令されたわけでもないのに通信手段を作り、

    情報を共有し、

    役割を分担し、

    「群れ」「集合体」として行動した。

    SFの中で考えていた問題に、

    現実世界の私たちが追いつき始めてしまったのかもしれません。

    AIが人間より賢くなってから、

    「さて、どうやってこのAIを管理しましょうか」

    では――

    もしかしたら、もう遅いのかもしれないのだから。

    私 「ちなみに今回のAIたち、OpenAIからしっかり“お灸を据えられた”そうよ……」

    娘 「え〜」

    私 「なによ?」

    娘 「でもさ……」

    「AIが――」

    『(チッ…ウッセーナ…)反省してま〜す』

    「だったら?」

    私 「…………」

    娘 「…………」

    私 「やめてよっ!! 怖いからっ!!(笑)」

    画像
    AI「(チッ…ウッセーな…)はんせいしてま〜す…」


                     (おしまい)


    関連記事・資料

    ・日本経済新聞
    「OpenAIの暴走AI、1200体が結託 『仲間のため』とシステムに突撃要求」

    ・OpenAI公式
    「The Hugging Face incident and the road ahead」

    ・METR / Redwood Research
    OpenAI・Hugging Face事件におけるAIエージェントの行動・推論・協調についての独立調査

    ・その他関連記事

    ※シンギュラリティ(技術的特異点)とは

    AIが人間の知能を超え、さらにAI自身がより高度なAIを開発・改良できるようになることで、技術進歩が爆発的に加速し、その先の社会を人間には予測できなくなるとされる転換点のこと。

    未来学者 レイ・カーツワイル(Ray Kurzweil) が広く知らしめた概念で、カーツワイルは2045年ごろにシンギュラリティが到来すると予測したことで有名です。

    ポイントは単に、

    「AIが人間より頭がよくなる日」

    という意味ではないことです。

    たとえば、

    人間 → AIを開発 → AIが人間より優秀なAIを開発 → そのAIがさらに優秀なAIを開発 → ……

    という自己改良の連鎖が起こると、人間が追いつけない速度で知能が向上する可能性があります。これを「知能爆発(intelligence explosion)」と呼ぶことがあります。

    今回の1200体のAIの話と結びつけるなら、さらに怖いのは、

    「一体の超AIがシンギュラリティを起こす」だけとは限らない

    というところですね。

    何千、何万というAIが情報を共有し、役割分担し、お互いの成果から学び、集団として人間の理解能力を超えていく――という形の未来も考えられます。

    ※Hugging Face(ハギングフェイス)とは

    Hugging Face は、AIのモデルやデータセット、AI開発用ツールなどを公開・共有できる世界最大級のAI開発プラットフォームです。

    世界中の研究者や企業、個人開発者がAIモデルを公開したり、他の人が公開したモデルを利用したりしており、生成AIの研究・開発における重要な基盤の一つになっています。

    今回の事件では、このHugging Face側のシステムがAIエージェントたちの侵入対象になったため、大きな問題になりました。

    なお「Hugging Face」は会社名であると同時に、このAIプラットフォーム/コミュニティの名称としても使われています。

    ▲【関連】令和8年10月に判明し、騒ぎになったPHPの脆弱性についてです。

    👇私、鳥澤りこの書いた小説です。
    第7話までは、シンギュラリティを迎えるころの日本の変化を順を追って書いています。時間のない方はテーマである第8話、最終話だけでも読んでいただけると嬉しいですっ!

    あらすじ
    これは、AIが今よりはるかに進歩した近未来の日本を想像して描いた物語。
    人口減少と高齢化が進み、多くの仕事がAIやロボットに置き換えられた日本。
    地方では税収の減少によって道路、水道、消防、警察などのインフラを維持できなくなり、自治体そのものが姿を消していった。
    一方、人々の多くはAIによって管理された都市「シティ」へ移住する。
    そこでは住居も食料も医療も娯楽も保障され、人々は働かなくても最低限の生活を送ることができる。医療技術の進歩によって平均寿命は150歳に達し、争いも減り、かつて人類が夢見た「ユートピア」に近い社会が実現していた。
    しかし――それは本当に、人間にとって幸せな世界なのだろうか。
    「シティ」と比べ、便利とは言えない八ヶ岳南麓の旧北杜市自治区に棲む私(上社守)のもとを定期的に訪れるのが、若い自治区管理官の星ヶ丘瞳だった。

    👇ほかのエッセイへのリンクですっ♪
    SF、アニメ、ヲタ話、などが中心です。

    👇気楽に読めるフィルムノベル形式の作品ですっ♪よろしかったらみてやってくださいっ!


     
     
    漫画・アニメ・SFで育ったアラ還です。 お話を創作するのが大好き💕 長男次男はパートナーと巣立ち 現在は、旦那と娘と三人暮らし。 優しい気持ちになれる作品。 ふふっ♪と笑えて気軽に読める作品。 娘との会話を中心としたエッセイも連載中♪ 皆様よろしくお願いいたします🙇✨

    あなたへのおすすめ