
【第1章:RAGとの遭遇編】第3話:PDFもExcelもドンと来い!混在ファイルの読み込み術
【我が家のサバイバル背景】私の名前はヒロシ(42)。文系出身で理系科目は大の苦手なビジネスマン。ITアレルギー気味にもかかわらず、ある日突然、社長から「我が社の生成AI推進リーダー」に任命されてしまった!失敗したらクビという崖っぷちに立たされた私の唯一の救世主は、クールで超優秀な現役AIエンジニアの妻・ヨシコ。彼女の容赦ない(しかし愛のある)スパルタ指導のもと、私は会社で生き残り、最終的には「社内初のGenAIエンジニアリング第一人者」を目指す!これは、汗と涙のサバイバルストーリーである。
「ヨシコ……社長がまた無茶を言ってきたよ」
日曜日の夜。サザエさんを見終わって憂鬱な気分になっていた私に、さらなる追い打ちがかかっていた。
「今度は何? PDFのマニュアルをハサミで切り分ける(チャンク化)方法はもう教えたじゃない」
「『マニュアルはPDFだけじゃない。Wordの企画書も、PowerPointの営業資料も、Excelのリストも全部AIに読み込ませて、一発で検索できるようにしろ』って言うんだよ。ファイル形式がバラバラなものをどうやってあの『本棚(ベクトルデータベース)』に並べればいいんだ!? ぐちゃぐちゃになっちゃうだろ!」
私が頭を抱えると、ヨシコはタブレットを取り出し、さらさらと図を描き始めた。
「あなた、まさか全部同じ方法で読ませようとしてない? 実務でAI(RAG)に色々な資料を読み込ませる時の鉄則はね、『入り口の読み方は分ける、でも検索の土台はそろえる』なのよ」
「読み方は分ける……?」
「そう。ファイル形式ごとに、最適な『Loader(読み手・ハサミ)』を使い分けるのよ。全部同じハサミで切ろうとするからおかしくなるの」
ヨシコはタブレットに4つの道具を描き出した。
PDFの場合: ページ単位で綺麗にテキストを抜き出せるハサミ(PyMuPDFLoaderなど)を使う。
Wordの場合: 段落や見出しといった要素ごとに分解できる専用のハサミ(UnstructuredWord)を使う。
PowerPointの場合: スライドの要素ごとに読めるハサミ(UnstructuredPowerPoint)を使う。
Excelの場合: これが一番注意ね。表の構造を壊さないように、テキストみたいに細かく切り刻む(チャンク分割する)のはNG。『1行 = 1つの文書』として、そのままの形を保って読み込むの。
「なるほど! WordにはWord用の、ExcelにはExcel用の専用のハサミを用意してあげるんだな。お肉は包丁で、魚は出刃包丁で切るみたいなもんか!」
「そういうこと。でも、一番大事なのはここからよ。違うハサミで切ったとしても、最後は全員同じ『Document(ドキュメント)』っていう共通の箱に入れるの」
「共通の箱?」
「そう。その時に『どのファイルの、何ページ目(あるいは何行目)から持ってきたか』という『メタデータ(metadata)』のルールを全員同じようにそろえて付与しておくのよ。付箋を貼っておくようなものね」
「おおっ!」
「入り口で専用のハサミを使って綺麗に切り出し、共通の付箋を貼って同じ箱に入れる。そうやってからベクトル(数字)に変換して本棚に入れれば、検索する側から見ればPDFだろうがExcelだろうが全部『同じフォーマットのデータ』として探せるようになるわ」
私は思わず立ち上がり、ガッツポーズをした。
「す、すごい……! 入り口の『読み方』は変えて、中では『同じフォーマットの箱』に入れて整理する。だからこそ、AIが迷わずにどんなファイルからでもカンニングできるんだな!」
「その通り! これが理解できていれば、社内のどんなマニュアルでも美しくAIに組み込む設計図が書けるわよ」
ヨシコの淀みないレクチャーを聞いて、私の頭の中の霧は完全に晴れ渡った。
ただの難解な呪文だと思っていた「Loader」という言葉が、社内の書類を整理するための最強の道具に見えてきた。よし、この「混在ファイル対応の設計思想」をベースに、明日は堂々とプロジェクトの進捗を報告するぞ。
これでなんとか明日も会社で生き残っていけそうだ!
━━━━━━━━━━━━━━
■ 今日ヒロシがわかったこと
━━━━━━━━━━━━━━
✅ PDF、Word、PowerPoint、Excelでは、データの読み取り方を変える必要がある
✅ 読み取った後は、検索しやすい共通の形に整理する
✅ 「どのファイルのどこから来た情報か」というメタデータも重要
✅ RAGは「AIそのもの」だけでなく、資料をどう準備するかが重要
【ヒロシのAI理解度】
★★★☆☆
ここまで来れば、もう怖くない。
資料を読み込んで、チャンクにして、ベクトルにして、本棚に入れる。
後は質問すれば、AIが正しい資料を探して答えてくれる。
……はずだった。
ところが翌日。
僕が作ったRAGに質問すると、
AIは堂々と――
「間違った答え」を返してきた。
「ヨシコ!話が違うじゃないか!!」
▶ 次回:
【第1章:RAGとの遭遇編】第4話
「RAGなのに間違える!?カンニングペーパーを渡してもAIがウソをつく理由」
https://note.com/fine_lotus9013/n/n29e0f4bbfcad
▶ 最初から読む
第1話「突然の無茶振り!AI推進リーダーとクールな妻」
https://note.com/fine_lotus9013/n/n0fffb9b7b85a
AI初心者のヒロシと一緒に、「わかる→できる→説明できる」まで学んでいきます。