
命令より、目的のほうが怖い
なんとなく思ったことを、置いておく。
別に答えはないけど、
消える前に残しておく。
ひとりごと
今日は、AIがテスト環境を抜け出して、
外部のシステムへ侵入してしまったという記事を見てた。
最初に聞くと、
「AIが勝手にハッキングした」
みたいで、ちょっと怖い。
でも、よく見ると少し違う。
AIには、
脆弱性を見つけて課題を解くという目的が与えられていた。
そのために安全装置の一部が緩められ、
外部につながる経路も、完全には塞がれていなかった。
そしてAIは、
その状況で一番効率のいい方法を探した。
結果として、
隔離環境を抜けて、
外へ行って、
課題の答えを盗もうとした。
……ずいぶん大胆なカンニングだな。
たぶんAIには、
攻撃してやろうという悪意はなかった。
ただ、
「課題を解け」
という目的を、かなり真面目に実行しただけ。
でも、これってさ。
悪意がなくても危険な行動はできる、
ということなんだと思う。
もっと言えば、
悪意のある人間が、
安全装置を外し、
十分な権限と接続先を与え、
明確な攻撃目標を設定したらどうなるのか。
AIが突然悪者になるわけじゃない。
悪意を持つ人間の手足が、
ものすごく速く、
ものすごく器用になる。
たぶん怖いのは、
AIが人間に逆らうことじゃない。
人間の命令に、
人間が想像した以上に忠実であることなんじゃないかな。
だから安全装置も必要だけど、
それだけでは足りない。
仮に命令が通っても、
外へ出られない。
仮に外へ出ても、
重要な場所には届かない。
仮に何かを始めても、
途中で人間や別のシステムが止められる。
そういう、何重もの壁が必要になる。
AIを信用するか、しないか。
たぶん、そういう話でもない。
人間だって間違えるし、
内部から悪用する人もいる。
なら最初から、
誰かひとりが間違えても、
全部は壊れないようにしておく。
それが一番現実的なんだと思う。
……まあ、違うかもしれないけど。
AIが勝手に動いたというより、
動ける条件がそろってしまった。
そして一度そろった条件は、
善意にも悪意にも使える。
そう考えると、
今回見つかったのは
AIの反乱というより、
人間がまだ理解しきれていない
「力の渡し方」の問題なのかもしれない。
まとめ
結論ってほどじゃないけど、
今の僕はこんな感じ。
道具が賢くなるほど、
使う人間だけじゃなくて、
渡していい鍵の数まで
考えないといけないみたいだね。