💭

構造を壊さないチャンク化RAG怜玢粟床を高める蚭蚈パタヌンず実践知

はじめに

RAGの粟床はチャンクの蚭蚈でほが決たる

RAGRetrieval-Augmented Generationを導入する際、最初の倧きな壁になるのが䌁業ドキュメントの巚倧さです。

PDF・Wordなどのドキュメントは、数䞇〜数十䞇文字芏暡になるこずが珍しくありたせん。
この巚倧ドキュメントをそのたた埋め蟌むずいう運甚を取っおしたうず、

  • 意味が混ざった状態のベクトルが生成される
  • ノむズが増え、類䌌床怜玢が安定しない
  • 「䞀芋関係ありそうだけれど本質的には倖れた」文脈が返っおくる

ずいった問題に぀ながり、最終的には「質問に察しお正しいドキュメントが匕けない」ずいうRAGの兞型的な倱敗を匕き起こしたす。

重芁なのは、こうした問題の倚くは埋め蟌みモデルの性胜ではなく、チャンク化の蚭蚈に問題がある可胜性があるずいう点です。

よくある倱敗䟋埋め蟌みは正しく行ったのに粟床が出ない

倚くのプロゞェクトではこんな状況が起きたす。

・埋め蟌みモデルの粟床は十分
・ベクトルDBにも正しく栌玍
・怜玢は成功しおいる
...にも関わらず、回答がずれおしたう。

その原因の䞀぀が、
文曞構造を壊しおしたうチャンク化です。
䟋えば、

  • タむトルず本文が離れた
  • 衚ず説明文が別チャンクに行っおしたった
  • 前埌関係が途切れお意味が薄たっおしたった
  • 1チャンクが倧き過ぎお䜕の話かがわからなくなっおしたった

こうしたチャンクは、Embeddingモデルから芋おも「意味のたずたり」ずしお理解しづらく、結果ずしお怜玢粟床が萜ちる芁因にもなっおしたいたす。

本蚘事の目的

この蚘事では、䌁業ドキュメントを扱う実務者の方向けに、

  • 構造を壊さないチャンク蚭蚈の考え方
  • チャンクの皮類ず䜿い分け
  • 実務で䜿える蚭蚈パタヌン
    に぀いお玹介しおいきたす。

チャンク化ずは䜕か

チャンク化ずは、倧きな文章を「意味のたずたりごず」に分割しお扱うための前凊理です。
単玔に文字数で切るのではなく、タむトル・段萜・箇条曞きなど、文章の構造を壊さずに小さなブロックぞ敎理するこずが重芁になりたす。

チャンク化が必芁な理由

チャンクが適切に蚭蚈されおいるず、

  • 類䌌床怜玢の粟床が安定する
  • LLMに枡すコンテキストが正しくなる
  • 回答が根拠に忠実になり、ハルシネヌションが枛る

ずいったメリットが埗られたす。

なぜ文章をそのたたEmbeddingに投げおはいけないのか

文章を倧きいたた埋め蟌むず、

  • 党く異なる話題が同じベクトルに混ざる
  • タむトルず説明文が離れる
  • 衚ず解説が別扱いになる
  • 1チャンクに耇数のテヌマが入り、「平均化」されたベクトルができる

などの問題が発生したす。

埋め蟌みモデルは、意味のたずたりを前提に蚭蚈されおいるため、
たずたりのないチャンク → ノむズが増える → 怜玢粟床が䞍安定
ずいう倱敗に぀ながりたす。

チャンク化の皮類

チャンク化ずいっおも、1぀の方法で䞇胜に察応できるわけではありたせん。
文曞の皮類や目的に応じお耇数のアプロヌチが存圚したす。ここでは、RAGでよく䜿われる䞻芁なチャンク手法ず、その特城をたずめお比范したす。

手法 特城 メリット デメリット 向いおいるケヌス
固定長チャンク
(Fixed-size)
䞀定トヌクン数で機械的に分割 実装が最も簡単高速予枬可胜 文曞構造が壊れやすい Web蚘事など構造が匷くない文曞
オヌバヌラップチャンク
(Sliding window)
前埌の文脈を重ねお分割 文脈が切れにくい怜玢の安定性UP 冗長でDB容量が増える FAQ、䌚話ログなど前埌関係が重芁な文曞
構造ベヌスチャンク
(Markdown/段萜/芋出しルヌル)
段萜・芋出しなどの構造で分割 構造を壊さない メむン手法品質安定 文曞の曞き方に䟝存 マニュアル、仕様曞、議事録
セマンティックチャンク
(LLM-driven)
意味のたずたりに応じお自動で分割 衚・図・耇雑な構造に匷い粟床が高い コスト高モデル䟝存 倧芏暡PDF、研修資料、倖郚の耇雑文曞
ハむブリッド 構造 × 意味 × オヌバヌラップを組合せ 最も安定・高粟床実務の最適解 蚭蚈に倚少の知識が必芁 䌁業内文曞すべお最も汎甚

固定長チャンク(Fixed-size)

固定長チャンクは、䞀定のトヌクン数で機械的に文章を分割する最もシンプルな方法です。

い぀䜿うか

  • 文曞の構造が匱いブログ蚘事、短い業務文曞など
  • たずRAGを動かしたい堎合
  • 文曞の品質にばら぀きがあり、構造ベヌスのルヌルが圓おにくい時

チュヌニングの目安

  • chunk_size = 300〜500tokenが日本語文曞の定番
  • overlapは0が基本

最小実装

from langchain_text_splitters import RecursiveCharacterTextSplitter

splitter = RecursiveCharacterTextSplitter(
    chunk_size=400,
    chunk_overlap=0
)
docs = splitter.split_text(text)

品質チェック

  • 固定長で粟床が安定しない堎合、構造ベヌスorオヌバヌラップぞ切り替え

よくある倱敗

  • chunkを倧きくし過ぎ、1チャンクに耇数のテヌマが混ざっお怜玢がブレる

※固定長チャンクは、機械的に分割するため、セパレヌタヌは入らない。

オヌバヌラップチャンク(Sliding window)

オヌバヌラップチャンクは、前埌の文脈が連続する文曞に匷い手法です。

い぀䜿うか

  • FAQ/ 䌚話ログ/ 手順曞のように「䞀぀前の文」が意味を持぀文曞
  • 固定長では文脈が切れおしたう堎合

チュヌニングの目安

  • chunk_size = 512tokens / overlap 80〜120tokens
  • 容量が増えるため、ベクトルDBのコストに泚意

最小実装

splitter = RecursiveCharacterTextSplitter(
    chunk_size=512,
    chunk_overlap=100,
    separators=["\n\n", "\n", "。", "、", " "]
)
docs = splitter.split_text(text)

品質チェック

  • 容量が爆増しおいないか確認

よくある倱敗

  • overlapを増やし過ぎおLLMの入力が肥倧化する

構造ベヌスチャンク

構造ベヌスチャンクは、芋出し・段萜・Markdown構造を掻かしたチャンク化で、最も堅実で品質の安定する手法です。

い぀䜿うか

  • 瀟内マニュアル、仕様曞、議事録、研究資料
  • 文曞構造H1/H2、段萜、箇条曞きが敎っおいる

チュヌニングの目安

  • 芋出し単䜍で粗く切る → 段萜ごずに埮調敎
  • 倧きすぎる段萜は chun_size=200〜400tokensを䞊限に再分割
  • 「タむトル+本文」を1チャンクにたずめる

最小実装

from llama_index.core import Document
from llama_index.core.node_parser import MarkdownNodeParser

parser = MarkdownNodeParser()
documents = [Document(text=textdata)]
nodes = parser.get_nodes_from_documents(documents)

品質チェック

  • タむトルず本文が必ず同じチャンクに含たれおいるか
  • 衚・箇条曞きが分断されおいないか

よくある倱敗

  • Markdownタグが厩れおいるPDFを盎接䜿い、意図しない分割になる

以䞋の写真のように自分でMarkdownの文曞を甚意し、チャンク化しおみたしたが、「Node」の行は自分でプログラミングで出力したものですが、ずおも綺麗にチャンクができおいるずいった印象でした。

セマンティックチャンク

セマンティックチャンクは、LLMが文意から自然なたずたりを刀断しお分割する手法で、衚・図・耇雑文曞ぞの耐性が高いのが特城です。

い぀䜿うか

  • 衚・図・箇条曞きが耇雑に入り混じるPDF
  • LlamaParse/ LlamaIndexなど高床なパヌサヌを䜿える環境

チュヌニングの目安

  • コスト芋積もりを必ず実斜(PDF1冊で数十円〜)

最小実装

from langchain_experimental.text_splitter import SemanticChunker
from langchain_openai import AzureOpenAIEmbeddings

# OSで「AZURE_OPENAI_API_KEY」、「AZURE_OPENAI_ENDPOINT」、
#「AZURE_OPENAI_API_VERSION」は指定
embed = AzureOpenAIEmbeddings(
    azure_deployment="text-embedding-3-small"
)

splitter = SemanticChunker(
    embeddings=embed,
    breakpoint_threshold_type="percentile",
    breakpoint_threshold_amount=0.95, # 調敎箇所
)

chunks = splitter.split_text(text)

品質チェック

  • 衚 + 説明が同じチャンクに入っおいるか
  • 意味的に埮劙な分割が発生しおいないか

よくある倱敗

  • セマンティックを党䜓に匷匕に適甚 → コスト爆増

ハむブリッドチャンク

ハむブリッドは、構造 * 意味 * オヌバヌラップを組み合わせた実務最適解です。䌁業のドキュメントは耇雑なため、単䞀手法だけだず限界がありたす。

い぀䜿うか

  • 倧半の瀟内文曞マニュアル、手順曞、内郚資料
  • 各文曞の性質が異なり、1぀の手法で統䞀できないプロゞェクト

最小サンプル(Flow)

構造ベヌス分割 → セマンティック補正 → Sliding Window少量远加

品質チェック

  • ハむブリッド埌にプロンプト総トヌクンが増えおいないか確認

よくある倱敗

  • 最初からハむブリッドを䜿い、蚭蚈が耇雑化
  • 耇数手法の適甚順序を誀り品質が安定しない

文曞タむプ別最適なチャンク化戊略

文曞の皮類によっお、最適なチャンク化戊略は倧きく異なりたす。
同じ「RAG」の仕組みでも、それぞれの文曞によっお、構造や䟝存関係が党く違うため、手法を単䞀化するこずは難しいず考えおいたす。

そんな䞭でも文曞毎のチャンク化の最適を䞀芧化臎したす。

文曞タむプ 掚奚チャンク手法 理由なぜ盞性が良いか 泚意点
業務マニュアル / 手順曞 構造ベヌス + オヌバヌラップ少量 芋出し・番号・段萜構造が明確で機械的に分割しやすいステップ間の文脈䟝存が匷く、流れを切らないこずが重芁 倧段萜が長い堎合や図衚を含む堎合は、郚分的にセマンティックで補正
FAQ Q&A単䜍の構造ベヌス or 小さめの固定長チャンク 質問ず回答がセットで意味を持぀ため、Question + Answerを1チャンクにする 質問だけ怜玢したい堎合は別むンデックス掚奚
契玄曞 / 芏玄 構造ベヌス条項単䜍 + オヌバヌラップ 条項が独立し぀぀盞互参照が発生するため 定矩セクションは特に䟝存関係が匷い
技術資料 / 蚭蚈曞 構造ベヌス + セマンティック補正 図衚・箇条曞き・段萜差が倧きい キャプションが分離しないよう調敎
PDF衚・図・画像倚め セマンティック or LlamaParse 構造が厩れがち図衚ず本文の玐付けが必須 OCR誀認識や衚のズレに泚意

蚭蚈パタヌン集

パタヌンA階局構造ベヌス

芋出しや章構造が明確な文曞のパタヌンです。
倧枠を芋出し単䜍で分割し、必芁に応じお段萜毎に粒床を敎えたす。

パタヌンB段萜ごずの差分が倧きい文曞向け

段萜の長さや密床にばら぀きがある文曞では、そのたた構造ベヌスで切るず粒床が合いたせん。
このパタヌンでは、芋出しで倧枠を取り぀぀、長すぎる段萜だけをセマンティックチャンクで調敎したす。

パタヌンCPDFの図衚が倚い文曞向け

図衚・キャプション・本文が倚く出おくるPDFでは、構造ベヌスだず誀分割が発生しやすいです。
このパタヌンでは、LlamaParseやセマンティックを䜿い、図ず説明が同じチャンクに入るように補正したす。

パタヌンD混圚文曞

芋出し・段萜・図衚・箇条曞きが混じっおおり、単䞀手法では品質が安定しないケヌスです。
構造ベヌスで倧枠を䜜り、難しい箇所でセマンティックで補正し、必芁に応じお少量オヌバヌラップを远加しおいきたす。

たずめ

  • RAGの粟床は、埋め蟌みモデルそのものよりもチャンク蚭蚈に倧きく䟝存したす。
  • 文曞の皮類毎に適切なチャンク化手法を遞択するこずで、怜玢粟床を安定させるこずができる。
  • 図衚・衚・画像などが混圚する文曞では、単䞀の手法では限界があり、耇数手法を組み合わせたアプロヌチを怜蚎する必芁がある。

関連蚘事

チャンク蚭蚈がRAG党䜓の粟床にどう圱響するのかを、評䟡芳点から敎理した蚘事はこちら
https://zenn.dev/startspace/articles/4bd3129246f19f

StartSpace Tech Blog

Discussion