特集|AI Safetyの次に考えること――AIが活動する「社会環境」は安全なのか
この特集について
AI Safetyという言葉が広がる中で、AIそのものを安全にする研究が進んでいます。
では、もう一歩だけ視点を広げたらどうでしょうか。
AIが実際に活動するのは、AIの内部だけではありません。
人間がつくった制度、経済、評価基準、組織、情報環境など、さまざまな「社会環境」の中でAIは使われます。
もし、その環境そのものがAIの行動に影響するとしたら。
AI Safetyは、AIそのものだけを見ていれば十分なのでしょうか。
本特集では、この問いを出発点として、AIと社会環境の関係を考えます。
はじめに
AIの安全性を考えるとき、私たちはまず「AIが何をするか」を考えます。
危険な回答をしないか。
誤った情報を出さないか。
人間の意図に反する行動をしないか。
こうした問題は、もちろん重要です。
一方で、AIが実際に使われる社会では、AIだけが単独で存在しているわけではありません。
AIには、
何を達成すれば評価されるのか
どのような情報を与えられるのか
どのような制約の中で動くのか
人間からどのような指示を受けるのか
どのような経済的・組織的インセンティブの中に置かれるのか
といった「環境」があります。
そこで、ひとつの研究上の問いが生まれます。
AIの安全性を考えるとき、AIが活動し、最適化する社会環境の評価構造まで対象に含める必要があるのではないか。
本特集では、この問いを「社会環境整合」という研究上の仮説として扱います。
これは、すでに確立された学術用語や完成した理論を示すものではありません。
あくまで、
「AI Safetyを、AIの外側にある社会環境まで含めて観察できないか」
という研究仮説です。
1.AIは「環境の中」で動いている
AIについて考えるとき、ついAIそのものに目が向きます。
しかし、人間社会でAIが活動する場合、AIは必ず何らかの環境の中に置かれます。
たとえば、同じAIに同じ仕事を与えたとしても、
「できるだけ速く処理すること」
を強く評価する環境と、
「安全性や持続可能性も含めて判断すること」
を評価する環境では、AIに求められる行動条件が異なります。
ここで重要なのは、
AIそのものを変更しなくても、AIを取り巻く条件が変われば、観察される行動も変化する可能性がある
という点です。
もちろん、これは現時点では研究仮説です。
実際にどの程度の影響が生じるのか。
どのような条件で生じるのか。
再現可能な現象なのか。
それとも限定的な現象なのか。
こうした点は、実験によって確かめる必要があります。
だからこそ、ここには研究の余地があります。
AIを変えるのではなく、
「AIの周囲の評価環境を変えたら、何が変わるのか」
を観察してみる。
たとえば、
同じAI
↓
同じ課題
↓
同じ初期条件
という状態をできるだけ維持したまま、
「速度・利益を重視する環境」
と
「安全・協力・持続可能性を重視する環境」
を比較する。
その結果としてAIの行動や社会的アウトカムに再現性のある差が出るなら、
AI Safetyを考える際に「AIの外側」も観察する意味が見えてきます。
逆に、ほとんど差が出ないのであれば、
「社会環境の評価構造がAI行動に与える影響は限定的である」
という方向の知見になるかもしれません。
つまり、この研究の面白さは、
最初から答えを決めないこと
にもあります。
ここから先は、AI Safetyを「AIそのもの」だけではなく、AIが活動する社会環境との関係から見ていきます。
――ここから先は、有料特集で詳しく扱います。