メインコンテンツへスキップ
見出し画像

【第1章:RAGとの遭遇編】第5話「『似てる』って何だ!?AIが質問に近い文章を探せる理由」

    はじめて読む方へ

    私の名前はヒロシ(42)。

    営業・企画畑の文系会社員で、ITはちょっと苦手。

    突然「生成AI推進リーダー」に任命され、AIエンジニアの妻・ヨシコに教えてもらいながら、生成AIをゼロから勉強しています。

    目標は、

    「わかる」→「できる」→「人に説明できる」

    まで行くこと。

    前回、僕が作ったRAGが会社の出張規程について堂々と間違った回答を返した。

    そこで分かったのが、

    RAGには「探す係」と「答える係」がいる

    ということ。

    AIが間違えたら、いきなり「AIがバカだ!」と決めつけてはいけない。

    まず、

    「そもそも正しい資料を探せていたのか?」

    を確認する必要がある。

    ところが――。

    ここで新たな疑問が生まれた。

    そもそもAIは、何を基準に

    「この文章は質問に近い!」

    と判断しているんだ?


    「ヨシコ、“似てる”って誰が決めるんだ?」

    火曜日の夜。

    夕食を終えた僕は、ノートパソコンを持ってヨシコのところへ向かった。

    「ヨシコ。昨日から気になってることがある」

    「珍しく勉強熱心ね」

    「珍しくは余計だ」

    僕は前回のRAGの図を見せた。

    質問
    ↓
    関係ありそうな資料を探す
    ↓
    AIに渡す
    ↓
    回答

    「ここだよ」

    僕は「関係ありそうな資料を探す」を指さした。

    「何百万文字もある会社の資料から、どうやって一瞬で『この文章が質問に近い』って分かるんだ?」

    ヨシコが少し笑った。

    「いいところに気づいたわね」

    そして言った。

    「じゃあ、あなたが検索エンジンになって」

    「俺が?」

    「そう」


    ヒロシ、検索エンジンになる

    ヨシコは紙に3つの文章を書いた。

    A:海外出張時の宿泊費は、地域ごとに上限額を定める。

    B:国内営業部の交通費は、毎月末に精算する。

    C:海外出張時のホテル予約は、原則として指定サイトから行う。

    そして質問を書いた。

    「海外出張のホテル代には上限がありますか?」

    「この質問に一番関係ありそうなのは?」

    「簡単だよ。A」

    「どうして?」

    「どうしてって……『海外出張』『宿泊費』『上限額』って書いてあるから」

    「なるほど。じゃあAをこう変えたら?」

    ヨシコが別の文章を書いた。

    D:国外への業務渡航に伴う宿泊料金には、地域別の限度額を設定する。

    「質問には『海外出張』『ホテル代』『上限』と書いてある。でもDには、その言葉が一つもそのまま出てこないわ」

    「でも意味はほとんど同じじゃないか」

    「そう」

    ヨシコがニヤリとした。

    「それをコンピューターにやらせたいの」


    キーワードではなく「意味」で探す

    ここで僕は気づいた。

    昔ながらの文字検索なら、

    「ホテル」

    と検索したら「ホテル」という文字を含む文章を探す。

    でも、

    ホテル → 宿泊施設
    海外 → 国外
    上限 → 限度額

    のように、人間なら「ほぼ同じ意味」と分かる表現でも、文字そのものは違う。

    「じゃあRAGでは、単語が完全一致しなくても意味が近ければ探せるのか?」

    「そういう検索方法がある。それがベクトル検索よ」

    来た。

    また知らない単語だ。

    「ベクトル……」

    僕の頭の中に、高校数学の矢印が蘇った。

    「ヨシコ。悪いけど俺、文系だからベクトルって聞いた瞬間に脳がシャットダウンする」

    「大丈夫。今日は数学の試験じゃないから」


    Embeddingは「文章に座標を与える」

    ヨシコはテーブルの上に付箋を並べ始めた。

    赤い付箋には、

    「海外出張のホテル代」

    その近くに、

    「国外出張の宿泊費」

    少し離して、

    「海外旅行のホテル予約」

    さらに遠くに、

    「営業部の売上目標」

    そして一番遠くに、

    「今日の晩ごはん」

    と書いた。

    「何してるんだ?」

    「文章を、意味が近いもの同士で近くに置いているの」

    僕は付箋を見た。

    確かに、

    「海外出張のホテル代」
    と
    「国外出張の宿泊費」

    はかなり近い。

    「営業部の売上目標」は遠い。

    「今日の晩ごはん」は完全に別世界だ。

    「コンピューターでも、これに似たことをするの?」

    「そのために使われるのが**Embedding(埋め込み)**よ」

    ヨシコが説明を続けた。

    「すごく単純化して言えば、文章や単語などを、意味的な特徴を表す数字の並び=ベクトルに変換するの」

    「数字の並び……」

    「その数字を使えば、文章同士がどれくらい近いかを計算できる」

    「つまり……」

    僕は付箋を指さした。

    「Embeddingって、文章をこの机の上みたいな『意味の地図』に置ける形へ変換するようなもの?」

    「初心者向けのイメージとしては、それでいいわ」

    よし。

    少し分かった。


    じゃあ、質問も数字にするのか?

    ここで僕の頭の中に、一つの疑問が浮かんだ。

    「待てよ」

    「何?」

    「会社のマニュアルをEmbeddingして数字にするのは分かった」

    僕はノートに書いた。

    会社資料
    ↓
    チャンク化
    ↓
    Embedding
    ↓
    ベクトルとして検索できるように保存

    「でも、ユーザーが入力する質問は普通の日本語だろ?」

    例えば、

    『海外出張のホテル代には上限がありますか?』

    「この日本語と数字になった資料を、どうやって比較するんだ?」

    ヨシコが笑った。

    「いい質問ね」

    嫌な予感がする。

    「質問もEmbeddingするのよ」

    「質問も!?」


    質問と資料を、同じ「意味の地図」で比べる

    ヨシコが図を書いた。

    ユーザーの質問

    「海外出張のホテル代には上限がありますか?」

    ↓

    Embedding

    ↓

    質問を表すベクトル

    そして会社資料側も、

    「国外への業務渡航に伴う宿泊料金には、地域別の限度額を設定する」

    ↓

    Embedding

    ↓

    文章を表すベクトル

    「こうして質問と資料を比較できる形にして、質問に近いチャンクを探すの」

    「なるほど!」

    僕は思わず声を上げた。

    ここで、第2話で聞いたEmbeddingと、第4話で知った「探す係」が、初めて頭の中でつながった。


    これがRetrievalだったのか!

    僕はノートに大きく書いた。

    ① ユーザーが質問する

    ↓

    ② 質問をEmbeddingする

    ↓

    ③ 質問に近いチャンクを検索する

    ↓

    ④ 関連するチャンクを取り出す

    ↓

    ⑤ そのチャンクをLLMに渡す

    ↓

    ⑥ LLMが回答する

    「ヨシコ」

    「何?」

    「③と④が……Retrieval?」

    「そう」

    「RAGのR!」

    「ようやくつながったわね」

    Retrieval Augmented Generation。

    今までは「検索拡張生成」という日本語を丸暗記していただけだった。

    でも初めて、

    Retrieval=AIが答える前に、必要な資料を探して持ってくる工程

    として理解できた。


    ヒロシ、RAGを自分の言葉で説明してみる

    ヨシコが突然言った。

    「じゃあ説明して」

    「え?」

    「私が社長だと思って。RAGの検索部分を30秒で説明して」

    出た。

    ヨシコの抜き打ちテスト。

    僕は少し考えた。

    「えー……社長」

    咳払いする。

    「RAGでは、会社の資料をあらかじめ検索しやすい形にしておきます」

    「ふむ」

    「社員が質問したら、その質問も意味を比較できる形に変換します」

    「ふむふむ」

    「そして質問と意味の近い資料を探して、その部分だけをAIに渡して回答させます」

    ヨシコが黙っている。

    「……どうでしょう?」

    「70点」

    「厳しい!」

    「でも、第1話のあなたなら0点ね」

    それは確かにそうだ。

    数日前まで、

    LLMとRAGの違いすら知らなかった。

    今は少なくとも、

    なぜEmbeddingが必要なのか

    を自分の言葉で説明できる。

    少しだけ成長している気がした。


    ところが、また問題が起きる

    「よし!」

    僕は勢いよくパソコンを開いた。

    「じゃあ意味が近い文章をちゃんと探せば、今度こそRAGは正解できるんだな!」

    ヨシコの表情が変わった。

    「……ヒロシ」

    「何?」

    「あなた、また同じこと言ってる」

    「え?」

    「『意味が近い』と『正解に必要』は同じじゃないわよ」

    ……何?

    ヨシコは3枚の紙を並べた。

    A:国内出張のホテル代上限

    B:海外出張のホテル予約方法

    C:役員の海外出張におけるホテル代上限

    質問は、

    「一般社員の海外出張のホテル代上限は?」

    だった。

    「全部、意味は近そうでしょ?」

    「確かに……」

    「じゃあ、どれが正解?」

    「……どれも微妙に違う」

    その瞬間、僕は気づいた。

    意味が近い資料を探せる。

    それだけでは、まだ足りない。


    今日ヒロシがわかったこと

    ✅ Embeddingは、文章などを意味的な特徴を扱える数字の並び=ベクトルに変換する仕組み

    ✅ ベクトルを使うことで、文字が完全一致しなくても意味の近い文章を探せる

    ✅ RAGでは、資料だけでなくユーザーの質問もEmbeddingして検索に使える

    ✅ 質問に近いチャンクを探して取り出す工程がRetrieval

    ✅ ただし「意味が近い」=「正解に必要な資料」とは限らない

    【ヒロシのAI理解度】

    ★★★☆☆

    Embedding。

    昨日までは、

    「文章を数字にする謎の技術」

    だった。

    今日ようやく、

    「AIが意味の近い資料を探すための仕組み」

    としてつながった。

    そしてRAGの流れも見えてきた。

    質問する
    ↓
    質問を検索に使える形にする
    ↓
    関連資料を探す
    ↓
    AIに渡す
    ↓
    回答する

    でも――。

    新しい問題が発生した。

    「意味が近い資料」が何枚も見つかったら、

    どれをAIに渡せばいいんだ?

    国内出張。

    海外出張。

    一般社員。

    役員。

    どれも「ホテル代」「上限」という意味では近い。

    でも、正解は一つとは限らない。

    「ヨシコ……」

    「何?」

    「検索って、思ってたより難しくない?」

    「やっと気づいた?」

    くそ。

    また新しい扉を開けてしまった。

    これでなんとか明日も会社で生き残っていけそうだ!

    ……検索が正しければ。

    ━━━━━━━━━━━━━━

    次回予告

    【第1章:RAGとの遭遇編】第6話

    「検索1位なのにハズレ!?」AIの“探し方”を改善せよ

    意味が近いだけでは足りない。

    キーワード検索とベクトル検索。

    そして両方を組み合わせる「Hybrid Search」。

    さらに、集めた候補をもう一度並べ直す「Reranking」。

    ヒロシは「探す係」を改善できるのか?

    ▶次回
    To be updated

    ▶ 前回
    第4話「RAGなのに間違える!?『カンニングペーパー』を渡してもAIがウソをつく理由」
    https://note.com/fine_lotus9013/n/n29e0f4bbfcad

    ▶ 最初から読む
    第1話「突然の無茶振り!AI推進リーダーとクールな妻」
    https://note.com/fine_lotus9013/n/n0fffb9b7b85a

    AI初心者のヒロシと一緒に、「わかる→できる→人に説明できる」まで学んでいきます。

     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ