RAGの評価方法についてまとめてみた
はじめに
本記事では、RAG の評価についてまとめています。RAG の様々な評価方法をぜひ試してみてください。
1. RAGについて
RAG(Retrieval-Augmented Generation)は、LLM(大規模言語モデル)が 外部知識を検索(Retrieval)し、その結果をもとに文章を生成(Generation)する アーキテクチャです。
事前学習された知識だけに頼るのではなく、必要な情報を都度取得することで、最新性・正確性・ドメイン適応性 を向上させることができます。
従来の LLM は「学習時点までの知識」に制約されていましたが、RAG ではベクトル検索や構造化検索などを組み合わせることで、社内ドキュメントや DB、API などの外部データを動的に参照 できます。そのため、FAQ システム、社内ナレッジ検索、カスタマーサポート、文書 QA などで広く利用されています。
【RAGのフェーズ】
| フェーズ | 内容 |
|---|---|
| 入力 (Input) | ユーザー入力を解析し、検索用クエリを生成 |
| 探索 (Retrieval & Reasoning) | ベクトル検索を中心に、関連知識を取得・整理 |
| 生成 (Generation) | 取得した知識をコンテキストとして LLM が応答を生成 |
| 評価 (Evaluation / Reflection) | 出力を自己評価し、必要に応じて誤りや不整合を修正 |
2. RAGの評価
RAG における評価フェーズは、生成された回答が 「正しいか」「十分か」「根拠と整合しているか」 を確認し、品質を担保するための工程です。
評価は大きく 人手評価 と 自動評価 に分けられます。
3. 人手評価
人手評価は、開発者やドメインエキスパートが実際に出力を確認し、品質を判断する方法です。
特に以下のような観点で評価されます。
- 正確性:事実誤認がないか
- 根拠整合性:検索結果(Context)と矛盾していないか
- 網羅性:質問に対して十分な情報量があるか
- 表現品質:読みやすく、意図に沿った回答か
【特徴】
✅ 高精度・信頼性が高い
❌ スケールしない(コスト・時間がかかる)
❌ 評価者による主観のばらつきが出やすい
そのため人手評価は、PoC段階や品質基準策定、評価データ作成 に主に使われます。
4. 自動評価
自動評価は、LLM やルール、スコアリング指標を用いて、出力品質を自動的に判定する方法です。
本番運用ではこちらが中心になります。
4-1. 従来の自動評価指標(BLEU / ROUGE)
BLEU や ROUGE は、人手で作成した 参照文(Reference) と生成結果を比較し、
n-gram の一致度を数値化する自動評価指標です。
BLEU:生成文と参照文の n-gram 一致度を用いて評価する指標
ROUGE:参照文に含まれる n-gram が生成文にどれだけ含まれているかを評価する指標
これらは計算が容易で再現性も高く、従来の自然言語生成タスクでは広く使われてきました。
一方で、RAGにおける評価では以下のような課題があります。
【RAGにおける課題】
- 正解が一意でない
- 表現の揺れが大きい
- 回答の「正しさ」や「根拠との整合性」が重要
そのため BLEU / ROUGE は、
- 表層的な一致しか評価できない
- 正しいが表現が異なる回答を低く評価してしまう
といった問題があり、RAGの品質評価には不十分な場合が多いです。
4-2. RAG における評価アプローチ
近年では、BLEU / ROUGE の代替として、今からご紹介する自動評価の手法が使われています。
RAG や Agent 型システムでは、「生成できるか」だけでなく生成結果や検索結果をどう評価し、どう改善ループにつなげるか が重要になります。
本節では代表的な 4 つの評価アプローチをご紹介します。
4-2-1. LLM-as-a-Judge
LLM-as-a-Judge は、生成された回答を別の LLM(または別プロンプト)に入力し、評価者(Judge)として品質を判定させる手法です。
人手評価の代替として、意味理解を伴う自動評価が可能になります。
User Question(ユーザーの質問)
↓
Generator LLM(回答生成モデル)
↓
Generated Answer(生成された回答)
↓
Judge LLM(評価用LLM)
(Relevance / Faithfulness / Factuality / Fluency)
(関連性 / 根拠整合性 / 事実性 / 可読性)
↓
Score + Comment(スコア+評価コメント)
生成と評価を分離することで、従来の BLEU / ROUGE では測れなかった意味的品質を評価できます。
【評価観点】
- Relevance(関連性):質問や指示の意図に合致しているか
- Faithfulness(根拠整合性):与えられたコンテキストと矛盾していないか
- Factuality(事実性):一般知識や事実として誤りがないか
- Fluency(可読性):文法的に自然で読みやすいか
【特徴】
✅ 人手評価に近い意味理解ベースの評価が可能
✅ A/B テストを高速に回せる
❌ 同一モデルでの自己評価はバイアスが出やすい
【向いている用途】
- 生成品質の自動スコアリング
- Self-Refinement のトリガー
- RAG 全体の品質監視
4-2-2. Self-RAG
Self-RAG は、RAG に 自己評価(Self-Reflection)と再生成(Regeneration) の仕組みを組み込んだ手法で、Advanced RAG の一つです。
- モデルが自分自身で「検索結果と生成出力の整合性」を評価する
- 生成プロセスに Self-Critic(Reflective Critic)を挿入し、出力の妥当性を判定する
- 評価結果に応じて、検索や生成を再実行する制御ループを持つ
Question(質問)
↓
Retrieve(情報検索)
↓
Generate(回答生成)
↓
Self-Critic(自己評価・自己批評)
├─ OK → Answer(最終回答)
└─ NG → Re-retrieve / Re-generate(再検索 / 再生成)
【特徴】
✅ ハルシネーションを大幅に抑制
✅ RAG の回答品質が向上
❌ 推論回数が増えコストが高い
【向いている用途】
- 高信頼性が求められる RAG
- LangGraph / Agent 実装
4-2-3. Retrieval品質の評価
生成結果ではなく、検索段階の品質を評価する手法です。
LLM が出力後に「この回答は正しいか?」と自己質問し、間違っていれば reasoning chain を修正して再生成します。
“Reflection agent” が “Actor agent” の出力をモニタしてフィードバックします。
Query(検索クエリ)
↓
Retriever (Actor)
(検索を行う主体)
↓
Top-k Documents
(取得された上位k件の文書)
↓
Retrieval Critic
(検索結果の評価者)
├─ Good → Generate
│ (回答生成へ進む)
└─ Bad → Rewrite Query / Increase k
(クエリ再生成 / Top-k 増加)
【評価指標】
- Recall / Precision
- MRR
- nDCG
- 正解文書が Top-k に含まれているか
【特徴】
✅ RAG 失敗の原因を切り分けやすい
❌ 正解文書の定義が必要
【向いている用途】
- 検索アルゴリズム比較
- インデックス品質検証
- Retriever のチューニング
4-2-4. ルールベース・ヒューリスティック評価
LLM を使わず、明示的なルールで機械的に評価する手法です。
CI/CD や本番モニタリングでは不可欠な存在です。
【代表的なルール】
- 回答が空でないか
- 引用が含まれているか
- 禁止ワードや形式違反がないか
【特徴】
✅ 高速・低コスト・再現性が高い
✅ 本番監視に最適
❌ 回答品質そのものは測れない
まとめ
本記事では、RAG における評価について、人手評価と自動評価をまとめました。
LLM-as-a-Judge や Self-RAG、Retrieval 評価などの自動評価手法は、RAG や Agent システムの品質改善を高速・スケーラブルに進めるうえで非常に有効です。
一方で、自動評価だけで品質を完全に担保することは、現時点ではまだ難しいのが実情です。
評価をする際は、用途に応じて評価方法を色々試してみてください。
Discussion