
【第1章:RAGとの遭遇編】第4話:RAGなのに間違える!?
はじめて読む方へ
私の名前はヒロシ(42)。
営業・企画畑の文系会社員で、ITはちょっと苦手。
突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに教えてもらいながら、生成AIをゼロから勉強しています。
目標は、
「わかる」→「できる」→「人に説明できる」
まで行くこと。
前回までに僕は、会社の資料をAIに検索させて回答の材料にする「RAG(検索拡張生成)」の基本を学んだ。
分厚い資料を小さく切る「チャンク化」。
文章の意味を数字で表現する「Embedding」。
そして、その情報を検索できるように整理するベクトルデータベース。
PDFやWord、PowerPoint、Excelも、入り口ではそれぞれに合った方法で読み込み、検索しやすい形にそろえる。
完璧だ。
少なくとも――昨日の夜までは、そう思っていた。
「ヨシコ!RAGがウソついたぞ!」
月曜日の夜。
玄関を開けるなり、僕は叫んだ。
「ヨシコ!話が違うじゃないか!」
リビングでノートパソコンを開いていた妻が、顔も上げずに答えた。
「今度は何?」
「RAGだよ、RAG!」
「壊したの?」
「壊してない!」
僕は鞄からノートパソコンを取り出した。
会社で試していたRAGのテスト画面をヨシコに見せる。
「今日、試しに会社の出張規程を読み込ませて、質問してみたんだ」
「ふーん」
「ちゃんと資料も入れた。チャンクにもした。検索できるようにもした。だから聞いたんだよ」
僕は画面を指さした。
『海外出張でホテル代の上限を超えた場合、どうすればいい?』
「そしたらAIが、それっぽい答えを返してきた」
「それで?」
「念のため元の規程を確認したら……書いてある内容と違ってたんだよ!」
僕は椅子に崩れ落ちた。
「RAGを使えば、会社の資料を見ながら答えてくれるんじゃなかったのか!?」
ヨシコがようやくこちらを見た。
そして、一言。
「あなた、RAGを何だと思ってるの?」
「え?」
「RAGは『正解製造機』じゃないわよ」
RAGを入れれば、ハルシネーションは消える?
「ちょっと待て」
僕は混乱した。
「第1話で言ったじゃないか。AIは知らないことでも、それっぽい答えを作ることがある。だから会社のカンニングペーパーを渡す。それがRAGだって」
「言ったわ」
「だったらカンニングペーパーを見れば正解できるだろ?」
ヨシコは少し考え、テーブルの上に紙を3枚置いた。
「じゃあ、あなたが試験を受けているとしましょう」
「また試験か……」
「問題はこれ」
ヨシコが紙に書いた。
『海外出張時のホテル代の上限を超えた場合の手続きを答えなさい』
「答えは会社の規程集のどこかに書いてある。でも、あなたは規程集全部を見ることができない」
「うん」
「代わりに、検索係の人が『たぶん関係ありそう』と思ったページを3枚だけ持ってきてくれる」
ヨシコは3枚の紙を僕の前に置いた。
1枚目。
「国内出張のホテル上限」
2枚目。
「海外出張時の日当」
3枚目。
「海外出張時のホテル予約方法」
僕は3枚を眺めた。
「……肝心の『上限を超えた場合』のページがない」
「そう」
ヨシコはニヤリとした。
「じゃあ、その3枚だけを見ながら答えろと言われたら?」
「正しい答えは出せない」
「それがRAGで起こることよ」
RAGには「探す係」と「答える係」がいる
ヨシコはタブレットに大きく2つの箱を書いた。
① 探す係=Retrieval(検索)
② 答える係=Generation(生成)
「RAGっていう名前、覚えてる?」
「Retrieval Augmented Generation。検索拡張生成」
「そう。つまり、ものすごく単純化すると――」
ヨシコが矢印を書いた。
質問
↓
関係ありそうな資料を探す
↓
見つけた資料をAIに渡す
↓
AIが回答を作る
「ここには、大きく2か所、失敗する場所があるの」
「2か所?」
「まず、探す係が失敗する場合」
失敗①:そもそも正しい資料を探せなかった
質問に必要な資料が本棚に入っていても、検索で別の資料を持ってきてしまうことがある。
「さっきの試験で、必要なページが選ばれなかった状態ね」
「なるほど……。AIが答える前に、もう負けてるのか」
「そう」
これは僕にはかなり衝撃だった。
これまで僕は、
AIが答えを間違える=AI本体の問題
だと思っていた。
でもRAGでは、
AIに渡される前の『検索』
ですでに勝負が始まっているのだ。
正しいページを渡しても、まだ安心できない
「でも待ってくれ」
僕は食い下がった。
「正しい資料さえ検索できれば、今度こそ大丈夫だろ?」
「まだ」
「まだ!?」
「次は答える係の問題」
失敗②:正しい資料があっても、回答を間違える
「例えば正しい規程が検索されていたとしても、AIへの指示が曖昧だったらどうなると思う?」
「資料を使わずに答える?」
「そういうこともある」
ヨシコは続けた。
「ほかにも、必要な情報がチャンクの途中で切れていたり、似たルールが何種類も入っていたり、古い規程と新しい規程が混ざっていたりすることもある」
「あ……」
思い当たる節があった。
僕が会社で読み込ませたフォルダには、
「出張規程_2025」
「出張規程_最新版」
「出張規程_最新版2」
というファイルがあった。
「まさか……」
「あなた、全部入れた?」
「はい」
「更新日とか有効期限とか確認した?」
「……してません」
ヨシコが額を押さえた。
「AI以前の問題ね」
RAGは「カンニングペーパー」ではなく「図書館」だった
ここでようやく、僕は大きな勘違いに気づいた。
僕はこれまで、
RAG=AIに正解が書かれたカンニングペーパーを渡す仕組み
だと思っていた。
でも、もう少し正確に考えるなら違う。
RAGとは、
巨大な図書館から、質問に関係ありそうな本のページを探し、それをAIに渡して回答させる仕組み
なのだ。
だから、
図書館に間違った本が入っていればダメ。
必要なページが検索できなくてもダメ。
ページの切り方が悪くてもダメ。
古い情報と新しい情報が混在してもダメ。
そして正しいページを渡しても、AIへの指示が悪ければ回答を間違える可能性がある。
「……RAG、思ってたより奥が深いな」
「ようやく入口に立ったわね」
「第3話までで結構分かった気になってたんだけど」
「それ、一番危ない時期」
容赦ない。
じゃあ、どうすればいい?
「ヨシコ」
僕はノートを開いた。
「じゃあ質問を変える」
「何?」
「RAGを使えば正解するのか、じゃない」
ペンを握る。
「RAGが間違えた時、どこを調べればいい?」
ヨシコが少し笑った。
「やっとエンジニアっぽい質問になってきたじゃない」
そして、タブレットに3つ書いた。
1. 正しい資料が入っているか
2. 正しいチャンクを検索できているか
3. AIが検索結果に基づいて回答しているか
「まずこの3つを分けて考えなさい」
「つまり……」
僕もノートに書き写した。
RAGが間違えた。
↓
いきなり「AIがバカだ!」と言わない。
↓
まず、
どの資料が検索されたのかを見る。
僕は思わず声を上げた。
「そうか!」
「何?」
「これなら原因を切り分けられる!」
もし間違った資料が検索されているなら、問題は検索側。
正しい資料が検索されているのに回答が間違うなら、生成側。
そもそも正しい資料が登録されていないなら、データ側。
今まで全部「AIの問題」に見えていたものが、急に整理されて見えた。
今日ヒロシがわかったこと
✅ RAGを使っても、必ず正しい回答になるわけではない
✅ RAGには大きく「資料を探す」と「回答を作る」という2段階がある
✅ 間違った資料を検索すれば、AIは正しい答えを作れない
✅ 正しい資料を検索しても、チャンクや指示の仕方などによって回答を間違えることがある
✅ RAGが間違えた時は、まず「実際に何が検索されたのか」を確認する
【ヒロシのAI理解度】
★★★☆☆
昨日まで僕は、
「RAGを入れればAIは会社の資料に正しく答えてくれる」
と思っていた。
でも今日わかった。
RAGは魔法ではない。
大切なのは、
「正しい答えが出たか」だけを見るのではなく、「なぜその答えになったのか」を追えるようになること。
これは、AIを会社で使うなら避けて通れない考え方なのかもしれない。
よし。
では次に調べるべきことは決まった。
AIは、何を基準に「この紙切れが質問に近い」と判断しているんだ?
ヨシコ。
次はそこを教えてくれ。
「いいわよ。ただし今度は、あなた自身に検索してもらうから」
「え?」
嫌な予感がする。
これでなんとか明日も会社で生き残っていけそうだ!
……たぶん。
━━━━━━━━━━━━━━
■ 次回予告
【第1章:RAGとの遭遇編】第5話
「似てる」って何だ!?AIが質問に近い文章を探せる理由
Embeddingと類似度検索を、ヒロシ自身が体験します。
https://note.com/fine_lotus9013/n/n6a5cf3ccddcc
▶ 最初から読む
第1話「突然の無茶振り!AI推進リーダーとクールな妻」
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
AI初心者のヒロシと一緒に、「わかる→できる→人に説明できる」まで学んでいきます。