メインコンテンツへスキップ
見出し画像

【第1章:RAGとの遭遇編】第3話:PDFもExcelもドンと来い!混在ファイルの読み込み術

    【我が家のサバイバル背景】私の名前はヒロシ(42)。文系出身で理系科目は大の苦手なビジネスマン。ITアレルギー気味にもかかわらず、ある日突然、社長から「我が社の生成AI推進リーダー」に任命されてしまった!失敗したらクビという崖っぷちに立たされた私の唯一の救世主は、クールで超優秀な現役AIエンジニアの妻・ヨシコ。彼女の容赦ない(しかし愛のある)スパルタ指導のもと、私は会社で生き残り、最終的には「社内初のGenAIエンジニアリング第一人者」を目指す!これは、汗と涙のサバイバルストーリーである。

    「ヨシコ……社長がまた無茶を言ってきたよ」

    日曜日の夜。サザエさんを見終わって憂鬱な気分になっていた私に、さらなる追い打ちがかかっていた。

    「今度は何? PDFのマニュアルをハサミで切り分ける(チャンク化)方法はもう教えたじゃない」

    「『マニュアルはPDFだけじゃない。Wordの企画書も、PowerPointの営業資料も、Excelのリストも全部AIに読み込ませて、一発で検索できるようにしろ』って言うんだよ。ファイル形式がバラバラなものをどうやってあの『本棚(ベクトルデータベース)』に並べればいいんだ!? ぐちゃぐちゃになっちゃうだろ!」

    私が頭を抱えると、ヨシコはタブレットを取り出し、さらさらと図を描き始めた。

    「あなた、まさか全部同じ方法で読ませようとしてない? 実務でAI(RAG)に色々な資料を読み込ませる時の鉄則はね、『入り口の読み方は分ける、でも検索の土台はそろえる』なのよ」

    「読み方は分ける……?」

    「そう。ファイル形式ごとに、最適な『Loader(読み手・ハサミ)』を使い分けるのよ。全部同じハサミで切ろうとするからおかしくなるの」

    ヨシコはタブレットに4つの道具を描き出した。

    • PDFの場合: ページ単位で綺麗にテキストを抜き出せるハサミ(PyMuPDFLoaderなど)を使う。

    • Wordの場合: 段落や見出しといった要素ごとに分解できる専用のハサミ(UnstructuredWord)を使う。

    • PowerPointの場合: スライドの要素ごとに読めるハサミ(UnstructuredPowerPoint)を使う。

    • Excelの場合: これが一番注意ね。表の構造を壊さないように、テキストみたいに細かく切り刻む(チャンク分割する)のはNG。『1行 = 1つの文書』として、そのままの形を保って読み込むの。

    「なるほど! WordにはWord用の、ExcelにはExcel用の専用のハサミを用意してあげるんだな。お肉は包丁で、魚は出刃包丁で切るみたいなもんか!」

    「そういうこと。でも、一番大事なのはここからよ。違うハサミで切ったとしても、最後は全員同じ『Document(ドキュメント)』っていう共通の箱に入れるの」

    「共通の箱?」

    「そう。その時に『どのファイルの、何ページ目(あるいは何行目)から持ってきたか』という『メタデータ(metadata)』のルールを全員同じようにそろえて付与しておくのよ。付箋を貼っておくようなものね」

    「おおっ!」

    「入り口で専用のハサミを使って綺麗に切り出し、共通の付箋を貼って同じ箱に入れる。そうやってからベクトル(数字)に変換して本棚に入れれば、検索する側から見ればPDFだろうがExcelだろうが全部『同じフォーマットのデータ』として探せるようになるわ」

    私は思わず立ち上がり、ガッツポーズをした。

    「す、すごい……! 入り口の『読み方』は変えて、中では『同じフォーマットの箱』に入れて整理する。だからこそ、AIが迷わずにどんなファイルからでもカンニングできるんだな!」

    「その通り! これが理解できていれば、社内のどんなマニュアルでも美しくAIに組み込む設計図が書けるわよ」

    ヨシコの淀みないレクチャーを聞いて、私の頭の中の霧は完全に晴れ渡った。

    ただの難解な呪文だと思っていた「Loader」という言葉が、社内の書類を整理するための最強の道具に見えてきた。よし、この「混在ファイル対応の設計思想」をベースに、明日は堂々とプロジェクトの進捗を報告するぞ。

    これでなんとか明日も会社で生き残っていけそうだ!

    ━━━━━━━━━━━━━━
    ■ 今日ヒロシがわかったこと
    ━━━━━━━━━━━━━━

    ✅ PDF、Word、PowerPoint、Excelでは、データの読み取り方を変える必要がある

    ✅ 読み取った後は、検索しやすい共通の形に整理する

    ✅ 「どのファイルのどこから来た情報か」というメタデータも重要

    ✅ RAGは「AIそのもの」だけでなく、資料をどう準備するかが重要

    【ヒロシのAI理解度】
    ★★★☆☆

    ここまで来れば、もう怖くない。

    資料を読み込んで、チャンクにして、ベクトルにして、本棚に入れる。

    後は質問すれば、AIが正しい資料を探して答えてくれる。

    ……はずだった。

    ところが翌日。

    僕が作ったRAGに質問すると、

    AIは堂々と――

    「間違った答え」を返してきた。

    「ヨシコ!話が違うじゃないか!!」

    ▶ 次回:
    【第1章:RAGとの遭遇編】第4話
    「RAGなのに間違える!?カンニングペーパーを渡してもAIがウソをつく理由」
    https://note.com/fine_lotus9013/n/n29e0f4bbfcad

    ▶ 最初から読む
    第1話「突然の無茶振り!AI推進リーダーとクールな妻」
    https://note.com/fine_lotus9013/n/n0fffb9b7b85a

    AI初心者のヒロシと一緒に、「わかる→できる→説明できる」まで学んでいきます。


     
     
    ヒロシ(42)。営業・企画畑の文系会社員、ITは苦手。突然「生成AI推進リーダー」に任命され、AIをゼロから勉強中。AIエンジニアの妻・ヨシコに教わりながら、「わかる→できる→人に説明できる」を目指します。AI初心者、一緒に生き残りましょう!

    あなたへのおすすめ