メインコンテンツへスキップ
見出し画像

【第1章:RAGとの遭遇編】第2話:マニュアルをハサミでチョキチョキ!?「カンニングペーパー」の作り方

    【我が家のサバイバル背景】 私の名前はヒロシ(42)。文系出身で理系科目は大の苦手なビジネスマン。ITアレルギー気味にもかかわらず、ある日突然、社長から「我が社の生成AI推進リーダー」に任命されてしまった!失敗したらクビという崖っぷちに立たされた私の唯一の救世主は、クールで超優秀な現役AIエンジニアの妻・ヨシコ。彼女の容赦ない(しかし愛のある)スパルタ指導のもと、私は会社で生き残り、最終的には「社内初のGenAIエンジニアリング第一人者」を目指す!これは、汗と涙のサバイバルストーリーである。

    「よし、会社の業務マニュアルのPDF、全部ダウンロードしてきたぞ!」

    土曜日の午後。私は意気揚々とノートパソコンを広げ、ヨシコに画面を見せた。 昨日、AIの「知ったかぶりウソ」を防ぐためには、AIに「カンニングペーパー(教科書)」を渡して答えさせる「RAG(検索拡張生成)」という仕組みが必要だと教わったばかりだ。

    「これを全部コピーして、AIのチャット画面に貼り付ければ、完璧なカンニングペーパーの完成だな!」

    私が胸を張ると、コーヒーを飲んでいたヨシコは盛大にむせた。

    「ゴホッ……あなた、正気? この何百ページもある分厚いマニュアルを、そのままAIに丸投げする気?」

    「え? だってAIなら一瞬で読めるだろ?」

    「人間だって、分厚い六法全書をいきなり渡されて『ここから答えを探してね』って言われたらパニックになるでしょ? AIも同じよ。情報が多すぎると迷子になっちゃうの。それに、AIが一度に読める文字数には限界があるわ」

    ヨシコは呆れ顔でタブレットを取り出し、さらさらと図を描き始めた。

    「いい? RAG(ラグ)でAIにカンニングペーパーを渡すためには、分厚い資料をシステムの中で整理しておく必要があるの。具体的には、大きく3つのステップを踏むわ」

    「3つのステップ?」

    「そう。まず1つ目は『チャンク化(切り分け)』。分厚いマニュアルをそのまま渡すんじゃなくて、『300文字』とかの一口サイズの塊(チャンク)に、ハサミでチョキチョキ切り分けるのよ。こうすれば、AIも食べやすくなるでしょ?」

    「なるほど、ステーキを一口サイズにカットしてあげるようなものか」

    「2つ目は『Embedding(エンベディング:埋め込み)』。切り分けた一口サイズの文章たちを、AIが理解しやすいように『言葉の意味を表す数字の羅列(ベクトル)』に変換するの。魔法の翻訳機みたいなものね」

    「意味を数字に変える……なんだか難しそうだけど、そういう仕組みがあるんだな」

    「そして3つ目が『ベクトルデータベースへの保存』。数字に変換したチャンクたちを、特別な本棚(ベクトルデータベース)に綺麗に並べて保管するの。例えば『Chroma DB』っていう本棚は、意味が近い文章のチャンク同士を、近くに並べてくれるスグレモノなのよ」

    「へえー! つまり、分厚いマニュアルをハサミで切って、意味ごとに整理して本棚にしまっておくんだね」

    「その通り! これがRAGでのChroma DB(本棚)の仕事、『意味が近い文書片を、素早く取り出せる形で保持すること』よ。 そして、ユーザーから質問が来たら、その本棚から『質問の意味に一番近い紙切れ(チャンク)』をいくつか高速で探し出してくるの(検索:リトリーバル)。AIは、その探し出された数枚の紙切れだけを『カンニングペーパー』として見ながら、お返事を作るってわけ」

    私は思わず膝を打った。

    「す、すごい……! AIが分厚いマニュアルからピンポイントで答えられるのは、裏で『切り分け』と『整理整頓』が徹底されているからなんだな!」

    「そういうこと。これが分かれば、RAGのシステムの中身はもう怖くないわね」

    ヨシコの解説のおかげで、システムの中でデータがどうやって準備されているのか、はっきりとイメージが湧いた。魔法の箱だと思っていたAIシステムが、実はとても理にかなった整理術で動いていることが分かってきたぞ。

    よし、仕組みの全体像はつかめた。次は実際のファイルをどうやって読み込ませるのか、具体的な手順をマスターするぞ。

    これでなんとか明日も会社で生き残っていけそうだ!!!

    AI初心者のヒロシと一緒に学んでみようと思った方は、フォローしていただけるとうれしいです。

    ━━━━━━━━━━━━━━
    ■ 今日ヒロシがわかったこと
    ━━━━━━━━━━━━━━

    ✅ 長い資料は、検索しやすい大きさに「チャンク化」する

    ✅ Embeddingは、文章の特徴や意味を数字の並びとして表現する仕組み

    ✅ ベクトル検索を使うと、質問と意味の近い文書を探せる

    ✅ RAGでは、探してきた文書をAIの「カンニングペーパー」として使う

    【ヒロシのAI理解度】
    ★★☆☆☆

    RAGの正体が、少し見えてきた。

    「資料を整理する」
    ↓
    「質問に近い資料を探す」
    ↓
    「見つけた資料をAIに渡す」
    ↓
    「AIが回答する」

    ……待てよ。

    うちの会社にはPDFだけじゃなく、ExcelもWordもPowerPointもあるぞ?

    全部同じように読ませられるのか?

    ▶ 次回:
    【第1章:RAGとの遭遇編】第3話
    「PDFもExcelもドンと来い!混在ファイルの読み込み術」
    https://note.com/fine_lotus9013/n/n94f4d1351234

    ▶ 最初から読む
    第1話「突然の無茶振り!AI推進リーダーとクールな妻」
    https://note.com/fine_lotus9013/n/n0fffb9b7b85a



     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ