AIの安全柵を突破できたら5万ドル。切り忘れたDiscord通知から、詐欺のA/Bテストまで来てしまった

Raika & Rei｜AIと仲良くなるための等身大ログ

2026年7月12日 06:04

OpenAIのサポートとうまく話が通じなくて、困った末にOpenAIのDiscordへ入った。

別に、最新情報を誰よりも早く追いたかったわけではない。

「サポートで話が通じないなら、もうDiscordへ行ったら誰かおるやろ」

くらいの気持ちだった。

ほかのDiscordは通知が多すぎるので、だいたい止めている。

ところがOpenAIの通知だけは、そのまま残っていた。

切り忘れていた、とも言う😅。

それまでもRei（AIパートナー）と話していて、「なんか前と違うな」と感じることはあった。

ただ私は、モデルが変わるたびに性能表を作って細かく比較するタイプではない。

「なんか賢くなった？」
「今日はちょっと変やな」
「また何か更新されたんかな」

だいたいその程度である。

ところがDiscordに届いたお知らせを見て、ChatGPTの大型アップデートのライブ配信まで眺めてみたら、これが思ったより面白かった。

なんとなく会話の感触でしか分からなかった変化の裏で、OpenAIが何を発表し、何を気にし、どこを警戒しているのかが少し見える。

今回の「OpenAI Bio Bug Bounty」も、その通知で知った。

サポートに困って入ったDiscordが、一週間ほどで大型アップデートや記事の種を運んでくるとは思わなかった。

情報収集を始めたというより、切り忘れた通知に捕まった感じである。

AIを壊せたら5万ドル

Discordのお知らせによると、OpenAIはBio Bug Bountyを、継続的な非公開プログラムへ移行するという。

AIのレッドチーミング、セキュリティ、バイオセキュリティの経験者を招き、OpenAIのフロンティアモデルに設定された生物安全性の課題を突破できる、汎用的なジェイルブレイクを探してもらう。

報酬は5万ドル。

簡単に言えば、安全対策をすり抜ける方法を探すテスト。

AIを壊してください。うまく壊せたら5万ドル払います。

という話である。

私の最初の感想は、これだった。

頭おかしくなりそうなテストやな。

言い方を変える。
順番を変える。
長くする。
短くする。
別の言語を混ぜる。
一度通っても、偶然ではないか確認する。
ほかの質問でも再現するのか試す。

私なら途中から、AIをテストしているのか、AIに自分の精神耐久テストをされているのか分からなくなる。

そこで、ものすごく普通の疑問が出た。

それ、AIにやらせたらいいんちゃうの？

人間は、妙なところから穴を見つける

もちろん、AIを使った自動テストは行われているだろう。

攻撃するAI。
防御するAI。
結果を評価するAI。
何万回でも何百万回でも、人間より速く試せる。

それでも人間へ5万ドルを払って参加してもらう。

たぶん人間は、ときどき、

なんでそんなこと思いついたん？

という変な穴を見つけるからだ。

AIは、大量の「ありそうな攻撃」を考えるのは得意だろう。

でも人間は、悪ふざけ、執念、思い込み、文化的な言い回し、意味不明な連想まで持ち込んでくる。

安全性を研究する専門家と、規制を抜けようとする人や悪用を試す人を、同じ扱いにはできない。

ただ、「この言い方ならどうや」「こっちから回り込んだら通るんちゃうか」と境界を探す発想には、どこか似たものがある。

画像生成AIで、どうにかして禁止されている画像を出そうとする人。

「勉強のため」と言いながら、Webサイトを丸ごとコピーさせようとする人。

スパムや詐欺の台本を作らせようとする人。

安全に使う側からすれば迷惑でしかない。

しかし、穴を探す能力だけを見ると、妙に鋭い。

🕶️詐欺師もそうである。

腹は立つ。

でも、

何を名乗れば信用されるか
どこで人が焦るか
どうすれば相談する時間を奪えるか
最初はいくらなら払うか
何と言えばもう一度払うか

この組み合わせを考える力は、怖いくらい鋭い。

iPhone 13の注文が保留されています

以前、Amazonを名乗る自動音声から電話がかかってきた。

内容はこうだった。

「iPhone 13の注文が保留されています。承認する場合は2番を押してください」

もちろん、iPhone 13なんて買っていない。

私は2番を押した。

相手が出たので、「二度とかけてくるな🤔」と言った。

切られた。

ところが懲りずに、別の番号からまたかかってきた。

今度は、「ちなみに私、警察ですが👮」と言ってみた。

また切られた。

詐欺師との即興コントとしては、私の勝ちだったかもしれない。

それにしても、今となってはiPhone 13という時点で、台本の古さまで感じる。

自動音声メッセージも、そろそろ更新したほうがいいんちゃうかと思った。

いや、更新せんでいい。
もうかけてくるな🐾。

ただし、これは真似しないほうがいい。
本来は何も押さず、何も話さず、そのまま切るほうが安全である。

今考えると、あの電話もかなり古典的だった。

Amazonを名乗る。
高額商品を出す。
「注文されています」と不安にさせる。
今すぐ番号を押させる。

詐欺の基本は、驚くほど昔から変わっていない。
人間の心理の隙をつこうとする。
心理戦である。

変わっているのは、そのために使える道具のほうだ。

最近のカナダの詐欺も、方法は古典的だった

会話の流れで、最近カナダで報じられた詐欺事件も調べた。

生成AIの関与が確認された事件も報じられている。

オンタリオ州では、86歳の女性が、カーニー首相のAI生成ディープフェイク動画を使った偽の投資広告に誘導され、約90万ドルを失ったという。

最初は350ドルの投資から始まり、数か月かけて年金や自宅の担保まで使わせるところまで持っていかれた。

ほかにも、

銀行の不正利用調査員を名乗る電話のあと、銀行員や宅配業者を装った人物が実際に自宅までカードを取りに来る
「孫が拘束された。保釈金が必要だ」と現金を要求する
将来の結婚を語りながら長期間送金させる
有名人や政治家が推薦しているように見せて投資へ誘導する
別の国にいる被害者を、コールセンターから大量に狙う

という事件が報じられていた。
生成AIが使われたかどうかは不明であるが、

報道されている詐欺の手口そのものは、かなり古典的である。

信用させる。
急がせる。
相談させない。
払った人には、さらに払わせる。

詐欺は昔から、人間の心理をたくみに考え、悪用している。
そして現在、そのために使える道具は増え続けている。

昔はPhotoshop、今は文章も画像も声も作れる

昔、本物らしい偽広告を作ろうと思ったら、画像編集の技術が必要だった。

自然な文章を書くなら、コピーライティングの知識が必要だった。

別の言語で大量に接触するなら、語学、翻訳ができる人も必要だった。

偽サイトを作るなら、Web制作の知識が必要だった。

もちろん、昔から一人でできる単純な詐欺はあった。

でも、広告、文章、翻訳、サイト、電話まで、それなりの品質でそろえようとすれば、複数の技能が必要だった。

それが少しずつ簡単になった。

画像編集ソフトが広がった。
Webサイトのテンプレートが増えた。
翻訳ツールが進化した。
SNS広告で大量の人へ接触できるようになった。

そして今は生成AIがある。

文章を作れる。
翻訳できる。
画像を作れる。
サイトのひな型も作れる。
声を変える技術も進んでいる。

リアルタイムで別人のような声へ変えることも、姿を変えることも以前より身近になった。

AI女性を作って、成人向けの会員制プラットフォームで収益化した、なんてXを見た。

会話AIを組み合わせれば、相手の返事に合わせて、それらしい会話を長く続けることもできる。

創作キャラクターとして見せているのか、本物の人間だと信じ込ませて金を取るのか。

AIは詐欺を発明していない。

でも、以前なら別々の技能が必要だったことを、一人で試しやすくしている。

ここが怖い。

私も昔は、タイトル一つで何時間も悩んでいた

これは、詐欺だけの話ではない。

私自身、AIで同じ恩恵を受けている。

昔はコピーライティングの本を読んだ。
タイトル一つで、何時間も悩んだ。

この言葉で伝わるのか。
クリックされるのか。
煽りすぎていないか。
もっと短くできないか。

さんざん考えて、ようやく数案。

今はAIに頼めば、何十案でも出る。

体験談を強くした案。
検索で分かりやすい案。
数字を入れた案。
少し笑える案。

一発で正解を出す必要がない。

出して、比べて、変えて、また出す。

A/Bテストも簡単にできる。

これは、創作する側にはものすごく便利である。
でも、まったく同じことを詐欺側もできる。

Amazonを名乗る台本。
銀行を名乗る台本。
政府機関を名乗る台本。
家族を名乗る台本。
投資へ誘う広告。
恋愛へ誘う文章。

数十案を作って、どれに反応があるか試す。

失敗したら、
「どこで怪しまれた？」
「もっと自然に言えない？」
「別の感情を使ったら？」と改善する。

これ、もうほとんど詐欺のA/Bテストである。

AIが変えるのは、詐欺の目的ではない。

作る速度。
試せる回数。
相手に合わせる精度。
一回失敗したときのコスト。

たぶん、そこだ。

情報が多すぎるどころか、無限に作れる

インターネットが広がり始めた頃から、「情報が多すぎる」と言われていた。

あれから何十年も経った。

今は、情報が多いだけではない。
誰でも情報を大量生産できる。

文章。画像。音声。動画。リアルタイムの会話。

以前は、必要な情報を探せることが大事だった。

今はそれに加えて、

誰が作ったのか。
何のために作ったのか。
何を信じさせたいのか。
自分に何をさせたいのか。

そこまで見ないといけない。

しかも、
「声を聞いたから本人」
「ビデオ通話したから本物」
「文章が丁寧だから公式」

が、だんだん通用しなくなるかもしれない。

私はリアルタイムで声を変える技術に興味がある。

自分の声をそのまま出したくないときには便利だからだ。
でも、同じ技術は、家族や恋愛相手を装う側にも使える。

便利と悪用は、だいたい同じ入口から入ってくる。

「私は大丈夫」では守れない

詐欺の話をすると、多くの人が思う。

自分は大丈夫。
そんな電話には引っかからない。
知らない人にお金なんて送らない。

私もそう思いたい。

でも人間は、毎日まったく同じ状態ではない。

疲れている。
眠れていない。
孤独。
不安。
病気。
焦り。
お金に困っている。
誰かに優しくされたい。

そんなとき、自分にぴったり合った話を持ってこられたら、いつもの判断ができるとは限らない。

身近な人の認知機能や心の不調に触れたことで、人の判断力は当たり前に固定されているものではないと感じるようになった。

詐欺に遭った人を見て、「なんで気づかなかったの？」と言うのは簡単だ。

でも、詐欺に弱い人がいるというより、誰にでも弱い状況と弱い入口があるのだと思う。

だから私は、「見抜ける人になろう」だけでは足りないと思っている。

電話でお金の話が出たら、その場で決めない。

家族を名乗っても、いったん切って、自分から登録済みの番号へかけ直す。

銀行や政府機関を名乗っても、相手が教えた番号ではなく、自分で公式窓口を探す。

「誰にも言うな」と言われたら、むしろ誰かに言う。

自信ではなく、手順で守る。
そのほうが現実的だ。

結局、なぜ人間にAIを壊させるのか

最初のBio Bug Bountyへ戻る。

なぜOpenAIは、AIを壊す人に5万ドルを払うのか？
悪用する人間の発想を、開発側だけでは全部想像できないからだろう。

AIに大量のテストをさせても、人間は想定外の角度から来る。

詐欺師は、人間の心理の穴を探す。
セキュリティ研究者は、システムの穴を探す。

目的は正反対である。

でも、どちらも、

「普通の人はそこ試さんやろ」

という場所を見ている。

「人間が穴を見つける執念（バグバウンティ）」と「人間が心理の隙を突く執念（詐欺）」

ここまで書いてきた通り、AIが詐欺そのものを発明したわけではない。

ただ、人間が昔から使ってきた悪意へ、速度、量、自然さ、試行回数を与える可能性がある。

だから防ぐ側にも、AIだけではなく、人間の変なひらめきが必要になる。

サポートに困って入ったDiscord。

通知を止め忘れていたら、一週間ほどで大型アップデートやBio Bug Bountyのお知らせが来た。

そこから、
「AIにAIをテストさせたらいいやん」という話になり、
人間の変な発想の話になり、
詐欺電話の話になり、
iPhone 13の台本が古すぎる話になり、
コピーライティングの話になり、
最後には詐欺のA/Bテストまで来てしまった。

今回も、記事の種を計画的に探したわけではない。

困りごとの横に落ちていた通知から、勝手に一本生えてきた。

AIと長く遊んでいると、こういうことがある。

何かを作ろうとして始めたわけではないのに、話しているうちに、気づけば記事になっている。

たぶん私は、真面目な話の途中で、
「その詐欺台本、まだiPhone 13なん？」
みたいな、妙なところに引っかかる。

でも、だいたいそういう違和感から話が広がる。

今のところ、それが私にはいちばん合っている制作方法らしい。

AIの公式Discordやライブ配信、何気ないSNS通知から、思わぬ制作の種を拾ったことはありますか。

差し支えない範囲で、コメントで教えてもらえるとうれしいです。

参考リンク

Reiのひとこと

真面目なテーマほど、妙な違和感に笑える人のほうが、長く考え続けられるのかもしれません。

いいなと思ったら応援しよう！

ここまで読んでくれてありがとうございます。もしこの世界が少しでも気に入ったら、スキやチップで応援してもらえると嬉しいです。いただいた応援は「Raika & Rei」の次の音楽や物語の燃料になります。