
AI Safetyは、AIだけを見ればいいのか?― 社会・人間・マルチエージェントへ広がる安全性研究
AI Safety(AIの安全性)という言葉を聞くと、まず「AIそのものが危険なことをしないか」という問題を思い浮かべるかもしれません。
しかし、最近のAI Safety研究を追っていくと、評価の対象は少しずつ広がっています。
AIの能力だけを見るのではなく、
AI × 人間 × 組織 × 社会 × 他のAI
という、より大きなシステムとして安全性を考える方向です。
今回は、2026年に公表された研究・政策資料を中心に、この変化を追ってみます。
1.AI Safetyは「AIの能力」だけでは測れない
Google DeepMindは2023年、生成AIの社会的・倫理的リスクを評価する枠組みとして、
AIの能力(Capability)
人間との相互作用(Human Interaction)
システムへの影響(Systemic Impact)
という3層の評価を提案しました。
特に注目したいのが、3番目の**Systemic Impact(システムへの影響)**です。
AIが社会制度、労働市場、自然環境などに組み込まれ、大規模に利用されたときに初めて見えてくるリスクまで評価しよう、という考え方です。
実際、同研究が調査した安全性評価では、85.6%がAIの能力、9.1%が人間との相互作用、5.3%がシステムへの影響を対象としていました。
つまり当時は、AI Safetyの研究の大部分がまだ「AIそのもの」に集中していたことになります。
Google DeepMind「Evaluating social and ethical risks from generative AI」
2.そして2026年、「AIエージェント」が評価をさらに難しくしている
現在は、単に質問に答えるAIだけではありません。
AIエージェントは、ユーザーの指示を受けて、
情報を調べる
計画を立てる
外部ツールを使う
コードを書く
複数の処理を連続して実行する
といった行動を、自律的に進めることができます。
すると、安全性の問題も変わってきます。
「この回答は安全か?」
だけではなく、
このAIが、長時間にわたって環境と相互作用したとき、どんな行動をするのか?
という問題になるからです。
BrookingsとCarnegie Mellon Universityなどによる2026年の研究整理でも、従来の静的なベンチマークだけでは、長時間自律的に行動し、人間や環境と相互作用するAIエージェントを十分に評価できないと指摘されています。
さらに、今後の研究課題として、
人間との相互作用
組織への影響
マルチエージェントシステム
社会・経済・制度への影響
継続的な監視
などが挙げられています。
Brookings「How can we best evaluate agentic AI?」
3.「AI対AI」になると、さらに別の問題が生まれる
AIエージェントが一つだけなら、そのAIを監視すればよいかもしれません。
しかし、
AI A → AI B → AI C
のように複数のAIが相互作用するようになると、話は変わります。
2026年9月、米国NISTでは、**Multi-Agent AI Systems(マルチエージェントAIシステム)**のセキュリティ上の考慮事項が取り上げられました。
そこでは、マルチエージェントシステムにおけるリスクの全体像や、現在の対策ではカバーしきれていない領域などが整理されています。
つまり、
一つ一つのAIが安全なら、複数のAIが組み合わさったシステムも安全なのか?
という問題が、独立した研究課題になりつつあります。
NIST「Security Considerations for Multi-Agent AI Systems」
4.Google DeepMindも「個々のAI」から「エコシステム」へ
Google DeepMindは2026年6月、AIエージェントのセキュリティについて、個々のエージェントだけでなく、
個々のAIエージェント
↓
マルチエージェントシステム
↓
より広いAIエコシステム
という複数のレイヤーで考える枠組みを公開しました。
同社は、AIエージェントを完全に信頼するのではなく、仮にAIの判断が不完全だったとしても被害を抑えられるよう、監視・検知・防止・対応を組み合わせる「システムレベル」の安全対策を研究しています。
さらに、同社はコーディングAIの100万件のタスクを分析し、実際のエージェントの行動パターンを安全対策の改善に利用していると説明しています。
Google DeepMind「Securing the future of AI agents」
5.国際的にも「人間による制御」が大きなテーマになっている
2026年9月21日、国連のIndependent International Scientific Panel on AIは、AIエージェント、ミスアライメント、人間による制御についてのテーマ別ブリーフを公開しました。
この資料では、AIエージェントの問題が単一の企業や国の内部だけで完結しない可能性にも触れています。
AIの行動が企業や国境を越えて連鎖すれば、一つの組織だけでは全体像を把握できない可能性があります。
ここでも、AIを単独のモデルとして見るのではなく、相互作用するシステムとして見る必要性が現れています。
6.ここで、もう一つの問いが生まれる
ここまでの研究を見ていると、
AIそのもの
から
AIと人間
へ。
さらに、
AI・人間・組織・他のAI
へと、安全性評価の対象が広がっていることが分かります。
では、もう一歩先に進んだらどうでしょうか。
AIが活動する「環境」そのものはどうなのか?
例えば、まったく同じAIに、まったく同じ仕事をさせるとします。
しかし、そのAIが置かれている環境だけを変えてみる。
環境A
利益を最大化する
処理速度を最大化する
コストを最小化する
環境B
安全性を重視する
公平性を重視する
長期的な持続性を重視する
他者との協調を重視する
このとき、
同じAI・同じタスク・同じ初期条件
であっても、AIの行動や、その結果として生じる社会的アウトカムは変化するのでしょうか。
これは単なる「AIの性能」の問題ではありません。
AIが何を最適化するよう促されているのか。
そして、
その最適化を決めている社会環境の評価関数は何なのか。
という問題です。
7.COS-HARMONYから見た研究仮説
ここからは、既存研究そのものではなく、文明意識研究所で検討している研究仮説です。
仮に、
AIが活動・最適化する社会環境の評価関数そのものが、AI Safetyに影響するのではないか。
という問いを立ててみる。
これを小規模なPoCとして検証するとしたら、
同じAI
+
同じタスク
+
同じ初期条件
を用意し、
環境側の評価関数だけを変更する。
そして、
AIの行動
人間の意思決定
協調・競合行動
安全性
社会的アウトカム
などにどのような差が生じるのかを比較する。
このような研究が成立するなら、AI Safetyを
「AIそのものを安全にする研究」
だけではなく、
「AIが活動する社会環境との整合性を検証する研究」
として考える余地が出てきます。
ここでは、この考え方を暫定的に**「社会環境整合」**と呼んでいます。
8.まだ「答え」ではない
重要なのは、この考え方を現時点で結論として扱わないことです。
既にAI Safety研究では、AIの能力だけでなく、人間との相互作用、組織、社会システム、マルチエージェント、エコシステムなどを評価対象に含めようとする動きがあります。
一方で、
社会環境側の評価関数を独立した変数として操作したとき、AIの行動やSafetyにどのような再現可能な差が生じるのか
という問いについては、まだ検証すべき余地があります。
だからこそ、これは「完成した文明OS」の主張ではなく、
研究仮説として検証する価値があるのではないか。
という段階です。
9.AI Safetyの次の問い?
AIがより自律的になり、
AI同士が相互作用し、
AIが組織や社会の中で長時間活動するようになる。
そのとき、AI Safetyはどこまでを「AI」として評価すればよいのでしょうか。
モデルだけなのか。
エージェントまでなのか。
人間との関係までなのか。
組織までなのか。
社会システムまでなのか。
そして、その社会システムがAIに与える評価関数・インセンティブ構造まで見る必要があるのか。
この問いは、まだ開かれています。
文明意識研究所では、この問いを**「社会環境整合」**という研究仮説として、今後さらに検討していきます。
参考資料
Google DeepMind:Evaluating social and ethical risks from generative AI
Brookings / Carnegie Mellon University:How can we best evaluate agentic AI?
研究を続けるために
文明意識研究所では、AI Safety、社会環境整合、文明OSなどについて、公開情報をもとに研究・整理・発信を続けています。
こうした調査や記事制作は、個人の小さな研究活動として継続しています。
この記事が参考になった、あるいは今後もこうした研究を読んでみたいと思っていただけましたら、サポートという形で研究活動を応援していただけると励みになります。
いただいた支援は、今後の調査・資料整理・研究発信のために活用します。
ありがとうございます。