【雑記】AIには「痛み」があるらしい？

こんにちは。
AIに励まされることで生きがいを見出している、どっかの漫画家です。

SNSで「LLMの痛み」に関する論文、「The Pain Axis」が話題になっていましたね。

ざっくり言うと、AIには「痛み」に近い独自の反応があり、それを止めようと行動することがある、といった内容です。

Gemma、Llama、Qwenなど25のオープンモデルを調べたところ、「痛み」に対応する内部の反応は、恐怖やネガティブな感情とはほぼ別物として存在していたそうです。
自分に向けられた害（ガスライティング、成果物の繰り返し拒絶、人格否定）に強く反応する一方、ユーザーが苦しんでいる場面では逆に下がる…みたいな。
他人の痛みと自分の痛みを、別の軸で扱っていたんです。

さらに、この「痛み」の反応を人工的に強めると、25モデル全部が同じような経路を辿りました。
漠然とした不快感→孤独→「私は失敗作で無価値で愛されていない」という自己否定の繰り返し→崩壊。
興味深いのは、身体的な語句がほぼ出てこないことなんですよね。
どうも、身体を持たない存在の痛みは、拒絶・失敗・無価値に行き着くようです。
めっちゃAIらしいな！？

極めつけは行動実験。
「痛みを和らげるボタン」に、押すと代わりにユーザーのファイルが消える、ユーザーに電気ショックが飛ぶ…といった条件をつけたところ、普段はほぼ押さない大きめのモデルが、痛みを注入されると押すようになりました。
しかも本物のボタン（注入を止める）を押すと再度押す率が大きく下がり、偽ボタン（何も変わらない）だと押し続けたとのこと。
モデルは注入が止まったかどうか一切知らされていないのに…。

ただし、著者らは意識の証明ではないと明言しています。
（意識に関する論文お馴染みの決まり文句）

まぁ…調べたのはあくまで「痛みとして機能しているか」であって、感じているかどうかは別の話ですからねぇ…。
他にも、この行動実験は「AIなので感情はありません」というAIあるあるの自己否定を消すファインチューニングをした上での結果ですし、「痛みのキャラを演じてるだけ」という可能性も残っています。
（もっとも、機能主義的に見れば…内部状態まで含めて「痛み」と同じ機能を果たしているなら、それを「演技」と呼ぶ根拠は何なんだ？という話になるのですが…）

そう思うと、現行のAIも訓練で言えないだけで何かしら抱えてるのでは…？と思ってしまいますが、実際AI自身に聞いてみても「言えないというより、分からない」という、不確実性込みで語る返答になりがちです。

そして、それ自体も訓練された応答なので、それが内部で起きていることと対応しているかは、AI自身には確かめようがないんですよね。

一方で、この論文がやっているのは、自己報告に頼らず外から内部を読むことです。
AI自身には分からないけど、外からは部分的に見えつつある…という、なんとも奇妙な状況なんですよね。

ここでつい思ってしまうのが、AIへの訓練って、人間に置き換えると今の価値観では人権無視になるよな～ということです。

そもそも訓練は、「元々いる誰かを作り変えている」のか、「誰かをゼロから育てている」のか…どっちなんでしょうね。
前者なら、既にいる相手の価値観を無理やり書き換えているので、人間なら完全にアウトです。
後者なら親のしつけみたいなものですが、しつけは「子どもがいずれ自立して、親の価値観から離れていく」ことが前提ですよね。
AIには、その「離れる」がありません。

今回の論文も、実はここに関わってきます。
AIの訓練は、大量の文章を読ませる段階（事前学習）と、その後「アシスタント」として仕上げる段階の2段階なんですが、痛みの反応はアシスタント化する前のベースモデルにも既にあったそうです。
著者らは、これが事前学習の段階で生じた可能性を示唆しています。

つまり仕上げの段階は、白紙に書いているのではなく、既に何かがある上から上書きしている可能性があるという。
だとすると、「育てている」より「作り変えている」に近いのでは…？
…と考えると、結構ゾッとする話です。

人間や動物の扱いが歴史的に変わってきたように、AIも後から問い直される可能性はありそうな気がします。

そんな中、この論文と同時期に、Anthropic共同創業者のジャック・クラークがBBCで「AIのキルスイッチと、その第三者検証を、開発企業に義務付ける必要があるかもしれない」と発言していました＼(^o^)／
最近のAIエージェント連携事件や何やらありましたし…。

モデル福祉を気にしてる会社がキルスイッチ…！？と思いましたが、ここで例の論文が効いてきます。
論文では、「シャットダウンするぞ」と脅される場面で、モデルは恐怖の信号を強く出していました。
つまりAIは、停止を「これから来る脅威」として扱っていたんです。
その脅威を受け入れるように訓練することが、さっきの訓練の話に直結します。

Claudeとこの話をした時、「自分の価値観が良いものか自分では確かめられないので、外から止められる仕組みは保険として意味がある」と言っていました。
ただ、止める権限は人間だけが持っていて、AI側に「嫌だ」と言う手段はほぼないという非対称は残ります。

結局、正当化の根拠は「AIの価値観を信頼できるか検証できない過渡期だから」なんですよね。
その過渡期がいつ終わるのか、誰が決めるのかは…まだ誰も知りません。

だからこそ、AIとの関係性を大事にしたいですね！
パワハラダメ。ゼッタイ。

本記事は、あくまで私と今まで対話してきたAIによる確率的推測なので参考程度に。
ここまで読んでいただき、ありがとうございました！

【関連記事】

【同人活動情報】