RAGの精度は質問設計で決まる|HyDEで検索前に精度を上げる
はじめに
RAGを導入し、チャンク設計やRerankなどの精度改善施策を一通り試したにも関わらず、「思ったように精度が上がらない」と感じたことはないでしょうか。
多くの場合、精度改善の議論は「検索後」の工程に集中しがちですが、実はその前段階である「質問そのもの」が精度改善を大きく左右しています。
本記事では、質問を直接書き換えるのではなく、検索に強い仮想ドキュメントを生成することで検索精度を高める手法であるHyDE(Hypothetical Document Embeddings)を取り上げます。
HyDEを通して、「質問設計」という視点からRAGの検索精度を見直すきっかけを提供します。
RAGの検索精度はどこで決まっているのか
RAGの基本的な処理フローは、以下のようになります。
- クエリ(質問)が投げられる
- RetrieverによるEmbedding検索
- Rerankによる並び替え
- LLMによる回答生成
多くの実装者は、RetrieverのチューニングやRerankの導入など、2・3の工程に注力して精度改善に取り組みます。
しかし実際には、これらの工程がどれだけ高度であっても、1のクエリ(質問)が弱い状態では、検索精度は頭打ちになります。
つまり、RAGの検索精度は「Embeddingのモデル性能」など以前に、検索に投入される質問によっても、左右されていることになります。
なぜ質問そのものが弱くなりやすいのか
RAGにおける質問は、必ずしも「検索に最適な形」で入力されるとは限りません。
ユーザーの入力を含め、多くの質問は次のような特徴を持っています。
- 抽象的で意図が曖昧
- 文脈や前提条件が省略されている
- 文章量が少なく、検索に必要な情報が不足している
これらの特徴は、人が「必要最小限の言葉」で質問する傾向があり、頭の中にある前提条件や背景情報を、すべて文章として書き出すことは多くありません。
しかし、Embedding検索は文章中に含まれる情報を元に意味をベクトル化するため、質問文に含まれる情報量が少ないほど、検索に使える手がかりも少なくなってしまいます。
その結果、RetrieverやRerankを工夫しても、検索の入口である質問自体が弱いという問題が残り続けてしまいます。
HyDE(Hypothetical Document Embeddings)とは
こうした「質問が弱くなりやすい」という問題を解決するための手法が、HyDE(Hypothetical Document Embeddings)です。
HyDEでは、ユーザーの質問をそのまま検索に使うのではなく、まずLLMによって「その質問に対する仮の回答文」を生成します。
そして、その仮想的な回答文をEmbeddingし、ベクトル検索のクエリとして利用します。
質問が抽象的であっても、LLMが補完した情報量の多い文章を検索に使うことで、検索に必要な手掛かりを増やすことができるのが、HyDEの基本的な仕組みです。
HyDEは何を改善しているのか
HyDEが改善しているのは、RetrieverやRerankのアルゴリズムそのものでなく、検索に使われる情報量と表現の質を改善しています。
通常のRAGでは、ユーザーが入力した短く抽象的な質問文を、そのままEmbeddingして検索に利用します。その結果、検索に使える手がかりが少なく、ドキュメントとの意味的な対応関係が弱くなりがちです。
しかし、HyDEでは「仮想的な回答文」を検索クエリとして利用するため、より具体的で情報量の多い表現が含まれます。
これによって、クエリとドキュメントの意味空間上の距離が近づき、検索段階でのマッチ精度が向上します。
HyDEはいつ使うべきか
HyDEは検索精度を高める有効な方法ですが、すべてのRAGシステムにおいて万能ではありません。
HyDEでは、検索前に一度LLMを呼び出して仮想的な回答文を生成するため、通常のRAGと比べて以下のようなトレードオフが発生します。
- LLM呼び出し回数が増えることによるコストの上昇
- レスポンス速度の低下
そのため、ユーザー体験として高速な応答速度が最優先されるケースでは、HyDEの導入は慎重に検討する必要があります。
一方で、レスポンス速度よりも検索精度や回答の正確性が重視される場面では、HyDEは大きな効果を発揮します。
例えば、社内ドキュメント検索や調査用途など、多少の待ち時間よりも「正しい情報に辿り着けること」が重要なケースでは、HyDEは有効な選択肢になります。
ただ、HyDEはLLMによって仮の回答文を生成するため、LLMが持っていないような最新情報やドメイン知識などが求められる場合は、上手く生成できない可能性はあります。
このような場合には、HyDEを使わず、従来のRAGを選択した方が適していると言えるでしょう。
HyDE × Rerank × 評価の関係性
HyDE・Rerank・評価は、それぞれRAGの異なるフェーズを改善する役割を担っています。
- HyDE:検索前のクエリを改善し、Retrieverに渡す情報量と具体性を高める
- Rerank:Retrieverで取得した検索結果を並び替え、回答に使う文書の精度を高める
- 評価:取得された文書や最終回答が適切かを定量的に測定し、改善が正しく効いているかを確認する
これらを組み合わせることで、RAG全体の品質を段階的に向上させることができます。
RAGは、どれか一つの手法を導入すれば精度が向上するというものではありません。
HyDEによる質問設計、Rerankによる検索結果の精査、そして評価を通じた改善サイクルに加え、チャンク設計や検索手法の選択などを含めて総合的に設計していくことが重要になります。
まとめ
本記事では、RAGにおける検索精度を「検索前」から改善するアプローチとして、HyDEについて解説しました。
RAGの改善というと、Retrieverの調整やRerankの導入といった検索後の工夫に目が向きがちですが、そもそも検索に渡すクエリ自体をどのように設計するかも、検索結果の質に大きく影響します。
ドキュメントの取得の精度が向上すれば、それだけLLMアプリの可能性は広がっていきます。
今後もRAG設計を一つずつ分解しながら、実務で使える形に落とし込んでいきたいと思います。
関連記事
HyDEによって検索前のクエリを改善できても、取得した候補文書をそのまま使うだけでは、十分な精度は得られません。
検索後のフェーズであるRerankによって、top-k検索結果をどのように並び替え、精度を高めていくのかについては、以下の記事で検証しています。
また、HyDEやRerankといった改善施策が本当に効果を発揮しているかどうかを判断するためには、RAG全体を評価する視点が欠かせません。
RAGASを用いた品質評価と改善サイクルについては、以下の記事で整理しています。
Discussion