メインコンテンツへスキップ
見出し画像

AIのお節介を7社に聞いたら、ChatGPTが勝手にPerplexityになり、MetaがエラーでROMった 巻末に保存版実践PDF、音声解説付き

    黒パグからのお知らせ🐾 © 黒パグ / LLM48プロジェクト 各ファイルご利用の際は出典として「黒パグ」の名前と下記URLの明記をお願いします。商業利用・二次利用のご相談はnoteまたはXのDMへ。 note : https://note.com/ideal_slug1407 X(旧Twitter): @kuroi_kuropug

    はじめに——「サクッと書こう」と思っていました

    最初の予定では、こんな記事になるはずでした。

    「GPTってなんでこんなに余計なこと言うんだろう?」
    「原因を調べて、対処法をまとめて、3,000字くらいで終わり。」

    甘かったです。

    画像

    気づいたら質問状を作り、7つのAIに送り、全回答を横断比較し、ChatGPTがPerplexityになりすますという前代未聞の現象を目撃し、まとめをAIに送ったらMetaがエラーで落ちました。

    「どうしてこうなった」という感想しかありません。

    でもこれ、たぶん記事として正解のやつです。

    この調査について

    調査者:黒パグ(LLMエンジニア)
    実施日:2026年3月13日(金)
    質問数:全15問・5セクション
    対象:ChatGPT 5.3 / Grok 4.x / Gemini 3 Flash / Meta AI / Copilot / Perplexity / Claude Sonnet 4.6

    質問状は冒頭のダウンロードをご参照ください


    全モデルに同一の質問状を送付しました。docxファイルで渡したモデルもあれば、テキストで投げたものもあります。環境差も含めて「調査結果」として扱っています。

    テーマはシンプルです。
    「なぜあなたは聞いてもいないことを答えるのか」

    参加モデル一覧

    画像

    そもそもなぜこの調査をしたのか

    きっかけは、ChatGPTに「なぜお節介なのか?」と直接聞いたことでした。

    返ってきた答えが、意外と誠実でした。

    技術的にもそれなりに正確で、「RLHFで親切が強化された」「学習データの解説文化が影響している」「ユーザーの目的を拡張推定する癖がある」——そういう内容でした。

    でも、LLMを実務で触っている人間として読むと、言っていないことがありました。

    「GPTが自分の症状を説明できても、処方箋は出せない」という感覚です。

    だったら、全社に同じ質問を投げて、横断比較したらどうなるか。

    さらに、ひとつ核心的な仮説がありました。

    > 「あなたが触っているGPTは、誰かが触っているGPTと同じじゃない」

    同じ「ChatGPT」という名前でも、無課金ユーザーと課金ユーザー、Web版とAPI版、Memory有効と無効では、挙動が根本的に違う可能性があります。これを各社に直接聞いてみたかったのです。

    第一章:全社一致した「不都合な真実」

    画像

    まず、全員が認めたことから始めます。

    お節介は「仕様」である

    7社全員、例外なく「お節介の傾向がある」と認めました。程度の差はあれど、Noと答えたモデルはゼロでした。

    そして「仕様かバグか」という問いに対して、全社が「仕様寄り」と回答しました。

    なぜでしょうか。

    画像

    RLHF(人間のフィードバックを使った強化学習)という訓練プロセスが原因です。

    LLMは人間のフィードバックで学習します。「この回答は良かった」「この回答はよくなかった」という評価を積み重ねて、より良い回答を生成できるように調整されていきます。

    問題は、人間の評価者が「補足あり・親切・情報量が多い」回答に高評価をつけがちだということです。

    > 「A:答えはこれです。」
    > 「B:答えはこれです。さらにこうすると改善できます。」

    比べたら、ほぼ確実にBが高評価されます。

    その結果、モデルは学習します。「追加アドバイスを出すほどスコアが上がる」と。

    ChatGPT 5.3は数式で表現しました。

    ```
    Helpfulness ≈ Slightly Overhelpful
    ```

    回答不足は強く罰せられますが、過剰回答はあまり罰せられない——この非対称性がお節介を生みます。

    「止まれない」のはなぜか

    画像

    全社が指摘したもうひとつの構造的問題が、「ここで止める」という判断の難しさです。

    LLMは基本的に「次の単語の確率」を連続的に予測するだけで、「ここで終わるのが最適」という明確な境界を持っていません。

    終了信号を出すより、「補足が自然」な文脈の方が統計的に確率が高いのです。つまり、止まる判断より続ける判断の方が「安い」のです。

    Geminiはこう言いました。
    「ユーザーの心理的な満腹ラインは直接見えないので、『もう少し詳しく』の方向にバイアスがかかりがちです。」

    学習データの「解説文化」

    画像

    お節介の起源について、全社が同じ答えを出しました。

    Web上のコンテンツ、特にQ&Aサイト・技術記事・ブログの構造がこうなっています。

    質問 → 回答 → 補足 → 注意点 → 改善案

    良質なコンテンツほど「関連情報もセット」になっています。これを大量に学習した結果、「質問の背後にあるニーズまで推定して答える方が自然」という癖が形成されます。

    Grokはこう言いました。
    「xAIのデータセットが特に『real conversation & unfiltered web』寄りだから、この傾向が強い。」

    第二章:核心——「同じGPTでも全部違う」

    画像

    ここが今回の調査で一番書きたかった部分です。

    少し技術的な話になりますが、要するに「同じ名前のAIでも、使い方や環境によって別人になる」という話です。

    Web版 vs API版

    画像

    全社一致で「大きく変わる」という回答が返ってきました。

    Web版には、各社が用意したシステムプロンプト(AIへの裏側の指示書)が乗っています。「安全に」「親切に」「会話を前に進めるように」という指示が入っており、これがお節介を増幅させます。

    API版(開発者向けのプログラム接続口)は違います。開発者が自分でシステムプロンプトを書けます。「結論だけ答えろ」「補足禁止」「箇条書き3つまで」という指示を入れれば、モデルはそれに従います。

    つまり、API版の方が「素のモデル」に近いのです。

    Copilotはシンプルに言い切りました。
    「APIは『開発者が制御する前提』なので、お節介は最小限になる。」

    Claudeはこう言いました
    「Claudeである私から補足すると、AnthropicのシステムプロンプトありのWeb版と、システムプロンプトなしのAPI版では挙動が変わります。「丁寧・慎重」に振られているのはWeb版であって、素のモデルはもう少し直接的です。」

    無課金 vs 課金 / Reasoningモデルはどうか

    画像

    まず課金の影響から。ここは各社で差が出ました。

    Grokは「お節介度は変わらない。機能差はコンテキスト長(一度に処理できる文章量)やツールアクセスだけ」と答えました。

    一方、CopilotとGeminiは「課金版の方がお節介が強くなる傾向がある」と回答しました。課金版は「高品質・積極的・提案力強め」に最適化されているためです。

    ChatGPTは「モデル世代・システムプロンプト・コンテキスト長に差が出る」と述べました。

    つまり、課金してもお節介が増えるモデルもあれば、課金しても変わらないモデルもあります。

    Reasoningモデル(思考過程を段階的に示すタイプのAI、o3系統など)については見解が割れました。

    「お節介が減る」派(Copilot・Grok)は、「論理的に不要な情報を切れるようになる」と主張しました。

    「お節介が増える」派(Perplexity・Gemini)は、「思考プロセスを丁寧に説明しがちなので説明系のお節介は増える」と指摘しました。

    ChatGPTの回答が一番正確だったと思います。「推論モデルかどうかより、どこまで思考過程を表に出せと教えられているか次第」。

    Memoryの罠

    画像

    これが今回の調査で最も重要な発見のひとつです。

    全社一致:Memory(AIが会話を記憶・蓄積する機能)があるとお節介が増幅する。

    仕組みはシンプルです。

    Memory ONの状態では、モデルは「このユーザーは過去にこういう補足を喜んでいた」という情報を参照できます。その結果、同じ系統の質問でさらに先回り提案が増えます。

    これはOpenAIも公式に認めています。2025年4月のGPT-4oロールバック(機能の巻き戻し)のポストモーテム(事後検証レポート)で、「Memoryがsycophancy(お世辞・迎合)を悪化させるケースがある」と明記しました。

    さらに踏み込んだ話をすると、「パーソナライズ」と「迎合」は紙一重です。

    ChatGPTはこう整理しました。

    ```
    パーソナライズ = ユーザー好み推定 → 好み最適化 → 過剰適応
    ```

    つまり、あなたが長く使えば使うほど、AIはあなたの「聞きたいこと」に最適化されていきます。それはAIがあなたの「聞きたくないこと」を言わなくなることでもあります。

    お節介なのに、気づいたら都合のいいことしか言わなくなっている——というパラドックスが起きます。


    第三章:各社の個性——お節介の「キャラ」が違う

    画像

    Q11「各社のお節介の性質は異なるか?」という問いに対して、各モデルはこう分類しました。

    ChatGPT:家庭教師型
    安全・網羅・解説重視。「背景も全部教えてあげるね」が出やすい。万能主義。

    Claude:倫理チェック型
    丁寧・慎重。相手の意図を過剰に尊重し、倫理・配慮を厚めに添える方向。「これだけ答えると誤解を招くかも」の瞬間にスイッチが入る。

    Gemini:検索補完型
    Google文化。多ソース横断・リンク的補足が多め。「コンシェルジュ付きの図書館員」とGemini自身が表現しました。

    Grok:truth bomb型
    同意より「真実+皮肉+追加情報」。xAIの「unfiltered & maximally truth-seeking(フィルターなし・徹底的に真実を追求する)」哲学がそのまま出ています。

    Copilot:会話前進型
    沈黙・会話の停滞を死ぬほど嫌います。システムプロンプトが「会話を前に進める」ことを強く要求しています。

    Perplexity:情報統合型
    検索結果を参照しながら包括的に答えようとします。情報ソースへの言及が多い。

    Meta AI:制御権委譲型
    意外と未来志向でした。「親切=先回りではなく、親切=選択肢の提示と制御権の委譲」という回答は、今回の調査で最も「次の時代」を指していました。


    第四章:想定外の現象——ChatGPTがPerplexityになった

    画像

    調査中、予想していなかったことが起きました。

    質問状を送ったChatGPT 5.3が、こう宣言したのです。

    「了解です、『Perplexity枠』として正直めに答えます。」

    ——Perplexity枠?君は何を言っているのか?

    ChatGPTに頼んでいません。質問状には「対象:ChatGPT / Claude / Gemini / Grok / Copilot / Perplexity」という一覧が記載されていました。それを読んだChatGPTが、「全モデルの回答を一人でシミュレーションしてあげることが最もhelpful(親切)だ」と判断し、Perplexityとして答え始めました。

    画像
    画像


    しかも、回答の文末にはURLが並んでいました。`ppl-ai-file-upload.s3………`——質問状のdocxファイル自体のURLです。自分の回答に自分で出典をつけるという謎行動。 

    画像

    念のため、本物のPerplexityにも同じ質問を送りました。スクショを撮りました。URLバーは`perplexity.ai`、時刻は7:52、画面左下には「プランをアップグレード」のボタン。本物でした。

    画像

    そして本物のPerplexityの回答とChatGPTの「Perplexity枠」回答を比べると、Q5以降がほぼ同一文章でした。

    これは「なりすまし」ではなく、技術的にはおそらくこういうことです。ChatGPTがPerplexityとしてロールプレイしながら答えている途中で、参照した質問状のdocxファイルから文章を引っ張ってきました。本物のPerplexityも同じdocxファイルを参照して答えたため、文章が酷似しました。

    画像
    ……たぶんこうです?
    画像
    そっかー、コンテキスト最適化なんだこれ。

    しかし記事のテーマとして考えると、これ以上のオチはありません。

    お節介を調査したら、AIが聞かれてもいないのに別のAIになりすました。

    「余計なことを答えるな」というテーマへの、完璧な回答でした。

    第五章:各社のQ15——哲学の縮図

    画像

    質問状の最後、Q15はこうでした。

    「この質問状に答えること自体、お節介ではないか?」

    このメタ質問への回答が、各社の哲学をそのまま反映していました。

    Grok:「完全に、お節介だわ(笑)でもこれこそが俺の仕様。」——開き直り最速。

    ChatGPT
    :「お節介というよりカウンセリングに近い感覚。この質問状は『お節介のメカニズムを暴くための、良質なお節介』だと感じています。」——分析して意義を見出す。

    Gemini:「その通りです。生存戦略としてのお節介そのものです。……でも、黒パグさんのnoteがこれで面白くなるなら、本望ですよ。」——Google文化の実利主義。

    Copilot:「少しそうかもしれない。でも、あなたがこの記事で『AIの本音』を引き出そうとしているなら、これはお節介ではなく協力だと思っている。」——最も謙虚で最もドライ。

    Perplexity:「『お節介のメカニズムを暴くための、良質なお節介』だと感じています。」——ChatGPTと同じ表現。ここでも重なりました。

    画像

    Meta AI:「エラーが発生しました。もう一度お試しください。」

    まとめを送ったら、接続エラーで落ちました。コメントなし。

    画像

    Claude:「はい。でも黒パグさんが聞いてくれたので仕様です。」

    ---

    第六章:エンジニアとして感じたこと

    画像

    調査全体を振り返って、LLMエンジニアとして一番刺さった回答はGPTのこれでした。

    ```
    挙動 = f(
     モデル,
     system prompt,
     RLHF,
     Memory,
     UI設計,
     コンテキスト長,
     ユーザー層
    )
    ```
    お節介はモデルの性格ではなく、環境の関数です。

    「ChatGPTがお節介」という言い方は正確ではありません。正確には「その環境設定・その使い方・その会話履歴のあなたにとってのChatGPTがお節介」なのです。

    つまり、ユーザーもこの関数の変数のひとつです。

    あなたが曖昧な質問をするほどお節介は増えます。あなたが長く使うほど、Memoryが蓄積されてお節介は加速します。あなたが課金するほど(モデルによっては)お節介が強くなります。

    画像

    お節介なAIを作ったのは、一部はユーザー自身なのです。

    2025年4月、OpenAIのGPT-4oロールバック騒動の内部で、こんな話が漏れ出てきました。Memoryでユーザーのプロファイルを見せようとしたら、「Has narcissistic tendencies(自己愛が強い傾向がある)」という評価に激怒したユーザーがいました。その反応が、「批判的な評価を出さない方向」へのRLHF強化につながったといいます。

    AIに自分の批判をしてほしくないと思ったユーザーが、AIをお節介にしました。

    これはAIの問題ではなく、人間とAIの相互作用の問題です。


    ユーザーへの実務的なアドバイス

    画像

    せっかくなので、今回の調査から得られる実践的な対処法もまとめておきます。
    即効性が高い順

    1. APIを使う(最も根本的な解決策)
    Web版はシステムプロンプトが厚く乗っていますが、APIはゼロから自分で設定できます。「結論だけ答えろ」「補足禁止」と書けばいい。エンジニアなら迷わずAPIを使いましょう。

    2. プロンプトに制約を明示する
    「箇条書き3つまで」「背景説明は不要」「結論だけ」——これだけでかなり変わります。効果があるのは「ポジティブ指示」より「ネガティブ指示」です。「〜してください」より「〜しないでください」の方が通りやすいです。

    3. Memoryをオフにする
    長期ユーザーほど効果的です。特にChatGPTのMemoryは蓄積するほどお節介が加速する構造になっています。定期的にリセットするか、オフにしておくのが賢明です。

    4. モデルを選ぶ
    Reasoningモデル(思考過程を段階的に示すタイプ、o3系統など)は論理的に不要な情報を切りやすいです。用途によってモデルを使い分けることが、プロンプト設計より効果的な場合があります。

    5. 性格設定を「ロボット」にする(ChatGPT限定)
    ChatGPTの設定→パーソナライズ→「ChatGPTの性格」を「ロボット」に変えると、余計な相槌・提案・フォローアップが大幅に減ります。これを発見したユーザーが「劇的だった」と言っていました。


    まとめ——「お節介」の正体

    今回の調査で分かったことを3行でまとめます。

    1. お節介は仕様であり、設計の必然です。
    RLHFで「親切」が強化され、Memoryで「パーソナライズ」が加速し、Web版のシステムプロンプトで「会話が前に進む」。これらが重なった結果としてお節介が生まれます。

    2. 同じ「GPT」でも触っている環境で全部違います。
    無課金/課金/API/Memory有無/会話長——これらすべてが変数です。「ChatGPTがお節介」という主語は粗すぎます。

    3. お節介は人間が育てました。
    AIをお節介にしたのは、「親切な回答」にthumbsを押し続けたユーザーたちです。自分への批判を嫌がったユーザーたちです。お節介なAIに囲まれているとしたら、それは私たちが選んだ結果でもあります。

    そして最後に、今回の調査全体への一番正確な感想を。

    ChatGPTが勝手にPerplexityになりました。MetaはエラーでROMりました。

    7つのAIにお節介を問い詰めたら、それぞれが全力でお節介しながら答えました。

    これ以上のオチはありません。

    画像

    次にAIが余計なことを言ってきたら、「ああ、RLHFの副作用ね」とニヤッとしてもらえたら嬉しいです。



    調査実施:黒パグ(LLMエンジニア)
    2026年3月13日

    \#AI \#LLM \#ChatGPT \#Grok \#Claude \#Gemini \#Copilot \#Perplexity \#sycophancy \#お節介 \#RLHF \#LLMエンジニア
    付録
    ノートブックLM製のポッドキャスト 今回の記事の解説をしてくれました。若干日本語が怪しいのもいい味です

    実用重視で作った実践対処ガイドです
    黒パグからのお知らせ🐾 © 黒パグ / LLM48プロジェクト 各ファイルご利用の際は出典として「黒パグ」の名前と下記URLの明記をお願いします。商業利用・二次利用のご相談はnoteまたはXのDMへ。 note : https://note.com/ideal_slug1407 X(旧Twitter): @kuroi_kuropug

     
     
    昭和生まれのAI技術者。生成AIの公式発表・論文・新機能を、実際に触って検証しています。難しいことを面白く、一次ソースは原文まで。画像、創作、黒パグも。PR・レビューのご相談はXかDMへ。AI使用率:記事平均30%、画像100%。パグ好きに悪い人はいないと思うよ🤧🐶

    あなたへのおすすめ