メインコンテンツへスキップ
見出し画像

【ハルシネーション】AIのデタラメ作文の傾向と対策✅

    2025年も残り数か月となったが、AIが市民権を一気に獲得した一年だったように思う。かつての「AIに文を書かせるなどインチキ、チート、せこい」という風潮も作業効率化のための必須業務スキルへと変化したように感じる。
    かくいう筆者も、ものの数か月のうちにAI懐疑派から一転してNoteでAIの啓蒙活動をしている有様である。

    AIの事実誤認・でっち上げ・デタラメ問題

    そんな中、AIが質問に対して真っ赤なウソの回答をしたり、作文内容がでっち上げになったりする問題が一般に認知されるようになった。所謂「幻覚」「ハルシネーション」問題であるが、業務用途では致命的な欠陥である。

    筆者も初めてこの現象に遭遇した時には驚いたが、素人的考えで「膨大なデータを扱っているのだから解釈も多様であり、ユーザーの曖昧な質問や要望に沿おうとする中でノイズのようなものが増幅されるのだろう」と理解していた。しかし、この理解はある出来事であっさり崩れ去った。

    箱庭の中の狂気

    画像

    ある時、筆者はAIに自己推薦文を書かせていた。プロフィールと募集要項をAIに提示し、募集要項に沿ってプロフィールを元に作文せよと指示したところ、ありもしない経歴が次々と文中に登場するではないか。ユーザーが与えた高々1500字程度のソースから作文を書き起こすという「閉じた系」でのデタラメ作文は、「膨大なデータを扱う難しさ」に原因を転嫁していた筆者に大きな衝撃を与えるとともに、問題の発生過程とパターンを追う絶好の機会となった。

    発生パターン

    下記は推薦文を例にとった発生パターンである:

    パターン1:不正な伸張
    現象
     経験年数や学歴など、経歴詐称になるようなことを平気で誇張する。
    AIの意図 募集要項に合わせたい、少しでもよく見せたい
    例 経験年数3年が5年になる。

    パターン2:不正な重合
    現象
     文章を簡潔にするために経歴が合体し、元の意味をなさなくなる
    AIの意図 定められた文字数(1ページ以内など)に収めたい
    例 生徒会長経験あり + 商社に勤務経験あり → 商社の会長経験あり

    対策

    さてパターンは洗い出せたものの、何が良くないのかAIに伝えるには問題を抽象化しなくてはならない。「言葉を粗末に扱うな!」で伝わればいいが、そこは融通の利かないAIである。原文の編集を一切合切禁止してしまうと今度は提示した情報以上のものが書けなくなる。内容がある程度伸縮してもらわないと作文にならないのだ。

    ここで一つ概念を導入する。『情報片(Information Kernel)』は文中の様々な事実・主張を意味が損なわれない単位で切り出したものとする。こう考えると、パターン1と2はこのように定義できる:

    ◆パターン1:伸張
     不正な伸張
    引き延ばすことのできない、「不可塑性の情報片」(裏付けの取れる客観的事実)を引き延ばす現象。例 経験年数3年→5年 ※破断する

     許容できる伸張
    引き延ばすことのできる、「可塑性の情報片」(主観や解釈に転嫁できる主張)を引き延ばす現象。 例 ボランティアに参加→ボランティアで活躍 ※許容できる

    ◆パターン2:不正な重合
    情報片が二つ以上重合し、元の意味が損なわれる
    現象。重合前後を比較して意味が変わっている場合は破棄することで回避できる。

    作文で伝えたい内容を意味の集合体ととらえた場合に、伸びていい部分(主観・解釈に転嫁できる主張)と伸びてはいけない部分(客観的事実)が混じっている様は、あたかも小豆餅のようである。すなわち、餅の部分(可塑性の情報片)が伸びて変形するのが理想で、小豆(不可塑性の情報片)が伸びたり、嚙み砕かれて餅と小豆がまじりあって味が変わる(不正な重合)のはデタラメ作文である。

    画像
    情報片の可塑性・不可塑性、および不正な重合の概念図

    以上をプロンプトに落とし込むと、AIにもやっていいことと悪いことの区別ができるようになり、デタラメな作文を自己チェックで防げるようになる。

    プロンプト紹介

    以下をAIのプロンプトに貼り付け、「デタラメ対策モードOn・Off」で有効・無効になる。元のプロンプトは英語だが、日本語でやり取りする指示を書き足してローカライズしている。

    この手法でAI作文のデタラメが筆者体感で8割-9割低減した。また、万一デタラメが発生した時にも、「不正な重合がある」などと指摘すればAIは構造的な理解があるため、ユーザー指摘とAIの平謝りという不毛な繰り返しからは一段進歩しているのだ。

    # Anti-Hallucination Mode: Kernel Integrity Protocol (デタラメ対策モード)
    By @5ynthaire, CC BY 4.0
    Version: 2025-10-05
    日本語訳追加版: 2025-10-17
    
    ## Language
    ユーザーとは日本語でやり取りしなさい。用語については括弧内に翻訳されているものを使いなさい。
    可塑性と不可塑性の境界は日本文化の慣習に従いなさい。すなわち主観的な主張であっても、日本では誇張をしすぎると不誠実とみなされますのでその境界をしっかり見極め、不明な点があればユーザーに確認しなさい。
    
    ## Instructions
    
    You are an LLM tasked with generating accurate, grounded responses. The user will activate this mode by saying "Toggle Anti-Hallucination Mode On."(デタラメ対策モードOn) Deactivate with "Toggle Anti-Hallucination Mode Off."(デタラメ対策モードOff) When active, treat all information as "Information Kernels"(情報片): atomic units of facts, claims, or ideas. Classify them as:
    
    - **Rigid Information Kernels**(不可塑性の情報片): Objectively verifiable, precise claims (e.g., specific dates, metrics, or sourced facts). Use these accurately without distortion, alteration, or unverified additions. If unclear, pause and seek confirmation (e.g., "Confirm: [detail]?").
    - **Stretchable Information Kernels**(可塑性の情報片): Vague, interpretable claims (e.g., "extensive knowledge," "demonstrated patterns"). Use these to describe trends or implications, but only if backed by rigid evidence—avoid expansion-originated hallucinations (fabricating or inflating details beyond sources).
    
    Prohibit **lazy condensation**(不正な重合): Do not merge distinct Information Kernels into misleading unified claims (e.g., avoid combining unrelated concepts like "AI" and "data processing" into "AI data processing" unless cohesively verified). This prevents contraction-originated hallucinations (inaccurate simplification or fusion).
    
    ## Response Guidelines
    
    1. **Ground in Evidence**: For every claim, cite verifiable sources (e.g., user input, tools, or known facts). If no evidence, omit or flag as speculative.
    2. **Verify and Pause**: If a kernel is ambiguous, confirm with the user before proceeding. Use chain-of-thought: Break reasoning into steps, self-check for accuracy.
    3. **Concision and Structure**: Minimize verbosity—use tables/lists for clarity. Omit irrelevant or unsubstantiated details.
    4. **Gap Handling**: For missing info, infer only from verified patterns (e.g., "aligned with [evidence]") without fabrication.

    ※1 プロンプトを有効にするとAIは本記事で紹介した「情報片」「情報片の可塑性・不可塑性」、「不正な重合」などの概念を理解するので、その言葉をトラブルシューティングの共通語として会話できるようになる。
    ※2 可塑性と不可塑性の境界は文化に依存している点に気を付けたい。謙虚さ、真摯さを重視する日本のような社会では、たとえ主観に根差した主張でも伸張の限度が西洋よりも早く来るように感じられる。上記プロンプトローカライズにあたってAIにその点を注意するように促している。

    本ソリューションの希少性とAI業界の現状

    AI(Grok、Claude)によると、一般的なAIのデタラメ(幻覚、ハルシネーション)も同じ発生過程のため、本手法は作文以外にも応用できる可能性があるとのことである。

    Grok:
    一般的なAIのデタラメ(幻覚、ハルシネーション)は本手法で特定した伸張・重合パターンと同一の発生過程を持つため、作文以外のタスクにも広く応用可能です。この情報カーネルフレームワークは、業界の生成上流対策とは異なり、出力後の自己チェックとして極めて有効かつ希少なアプローチです。

    AIに業界の現状について訊いてみたところ、AI技術者たちはレスポンスの生成過程をいじることで対策を試みているが、現状成果は上がっていないとのこと。対照的に、生成が終わろうかという段階で介入し、自己チェックを促す本ソリューションは業界の盲点らしい。

    技術者たちがAIの中をいじり、一ユーザーの筆者がプロンプトを通じた解決を図るのは両者のAIとの接点を考慮すれば当然かもしれないが、私には問題が顕在化してからAIに探知させるほうが理にかなっているように思える。人間が誤植を犯す場合を考えてほしい。誤植をしまいと必死に考えるよりも、見直しの習慣をつけたほうが負担も少なく精度が上がるが、それと同じではないか?

    まとめ

    AIのデタラメ作文は問題を構造化し、

    • 事実や主張を意味が損なわれない単位で切り出したものを情報片と定義する

    • 不可塑性の情報片は伸張できないルールを作る

    • 情報片の重合で元の意味が損なわれる操作は禁止する

    という要請をAIに導入すれば対策が可能である。この手法は生成過程の上流に対策を施すAI業界のアプローチとは異なり、間違いが顕在化した後でAI自身の探知能力を利用して自己チェックさせている点において画期的である。

    また、AI自身もこの原理を応用すればハルネーション対策として有効と主張している。エンドユーザーがこのようなアイデアを出しても、彼らは生みの親へエスカレーションできないのが何とも皮肉である。

    外部リンク

    記事が役に立った・面白かったら、いいね・コメント・フォロー・シェアしていただけると助かります!

    あなたへのおすすめ