💬

RAGの評価方法についてまとめてみた

に公開

はじめに

本記事では、RAG の評価についてまとめています。RAG の様々な評価方法をぜひ試してみてください。

1. RAGについて

RAG(Retrieval-Augmented Generation)は、LLM(大規模言語モデル)が 外部知識を検索(Retrieval)し、その結果をもとに文章を生成(Generation)する アーキテクチャです。
事前学習された知識だけに頼るのではなく、必要な情報を都度取得することで、最新性・正確性・ドメイン適応性 を向上させることができます。

従来の LLM は「学習時点までの知識」に制約されていましたが、RAG ではベクトル検索や構造化検索などを組み合わせることで、社内ドキュメントや DB、API などの外部データを動的に参照 できます。そのため、FAQ システム、社内ナレッジ検索、カスタマーサポート、文書 QA などで広く利用されています。

【RAGのフェーズ】

フェーズ 内容
入力 (Input) ユーザー入力を解析し、検索用クエリを生成
探索 (Retrieval & Reasoning) ベクトル検索を中心に、関連知識を取得・整理
生成 (Generation) 取得した知識をコンテキストとして LLM が応答を生成
評価 (Evaluation / Reflection) 出力を自己評価し、必要に応じて誤りや不整合を修正

2. RAGの評価

RAG における評価フェーズは、生成された回答が 「正しいか」「十分か」「根拠と整合しているか」 を確認し、品質を担保するための工程です。
評価は大きく 人手評価 と 自動評価 に分けられます。

3. 人手評価

人手評価は、開発者やドメインエキスパートが実際に出力を確認し、品質を判断する方法です。
特に以下のような観点で評価されます。

  • 正確性:事実誤認がないか
  • 根拠整合性:検索結果(Context)と矛盾していないか
  • 網羅性:質問に対して十分な情報量があるか
  • 表現品質:読みやすく、意図に沿った回答か

【特徴】
✅ 高精度・信頼性が高い
❌ スケールしない(コスト・時間がかかる)
❌ 評価者による主観のばらつきが出やすい

そのため人手評価は、PoC段階や品質基準策定、評価データ作成 に主に使われます。

4. 自動評価

自動評価は、LLM やルール、スコアリング指標を用いて、出力品質を自動的に判定する方法です。
本番運用ではこちらが中心になります。

4-1. 従来の自動評価指標(BLEU / ROUGE)

BLEU や ROUGE は、人手で作成した 参照文(Reference) と生成結果を比較し、
n-gram の一致度を数値化する自動評価指標です。

BLEU:生成文と参照文の n-gram 一致度を用いて評価する指標
ROUGE:参照文に含まれる n-gram が生成文にどれだけ含まれているかを評価する指標

これらは計算が容易で再現性も高く、従来の自然言語生成タスクでは広く使われてきました。
一方で、RAGにおける評価では以下のような課題があります。

【RAGにおける課題】

  • 正解が一意でない
  • 表現の揺れが大きい
  • 回答の「正しさ」や「根拠との整合性」が重要

そのため BLEU / ROUGE は、

  • 表層的な一致しか評価できない
  • 正しいが表現が異なる回答を低く評価してしまう

といった問題があり、RAGの品質評価には不十分な場合が多いです。

4-2. RAG における評価アプローチ

近年では、BLEU / ROUGE の代替として、今からご紹介する自動評価の手法が使われています。
RAG や Agent 型システムでは、「生成できるか」だけでなく生成結果や検索結果をどう評価し、どう改善ループにつなげるか が重要になります。
本節では代表的な 4 つの評価アプローチをご紹介します。

4-2-1. LLM-as-a-Judge

LLM-as-a-Judge は、生成された回答を別の LLM(または別プロンプト)に入力し、評価者(Judge)として品質を判定させる手法です。
人手評価の代替として、意味理解を伴う自動評価が可能になります。

User Question(ユーザーの質問)
      ↓
Generator LLM(回答生成モデル)
      ↓
Generated Answer(生成された回答)
      ↓
Judge LLM(評価用LLM)
(Relevance / Faithfulness / Factuality / Fluency)
(関連性 / 根拠整合性 / 事実性 / 可読性)
      ↓
Score + Comment(スコア+評価コメント)

生成と評価を分離することで、従来の BLEU / ROUGE では測れなかった意味的品質を評価できます。

【評価観点】

  • Relevance(関連性):質問や指示の意図に合致しているか
  • Faithfulness(根拠整合性):与えられたコンテキストと矛盾していないか
  • Factuality(事実性):一般知識や事実として誤りがないか
  • Fluency(可読性):文法的に自然で読みやすいか

【特徴】
✅ 人手評価に近い意味理解ベースの評価が可能
✅ A/B テストを高速に回せる
❌ 同一モデルでの自己評価はバイアスが出やすい

【向いている用途】

  • 生成品質の自動スコアリング
  • Self-Refinement のトリガー
  • RAG 全体の品質監視

4-2-2. Self-RAG

Self-RAG は、RAG に 自己評価(Self-Reflection)と再生成(Regeneration) の仕組みを組み込んだ手法で、Advanced RAG の一つです。

  • モデルが自分自身で「検索結果と生成出力の整合性」を評価する
  • 生成プロセスに Self-Critic(Reflective Critic)を挿入し、出力の妥当性を判定する
  • 評価結果に応じて、検索や生成を再実行する制御ループを持つ
Question(質問)
  ↓
Retrieve(情報検索)
  ↓
Generate(回答生成)
  ↓
Self-Critic(自己評価・自己批評)
  ├─ OK → Answer(最終回答)
  └─ NG → Re-retrieve / Re-generate(再検索 / 再生成)

【特徴】
✅ ハルシネーションを大幅に抑制
✅ RAG の回答品質が向上
❌ 推論回数が増えコストが高い

【向いている用途】

  • 高信頼性が求められる RAG
  • LangGraph / Agent 実装

4-2-3. Retrieval品質の評価

生成結果ではなく、検索段階の品質を評価する手法です。
LLM が出力後に「この回答は正しいか?」と自己質問し、間違っていれば reasoning chain を修正して再生成します。
“Reflection agent” が “Actor agent” の出力をモニタしてフィードバックします。

Query(検索クエリ)
 ↓
Retriever (Actor)
(検索を行う主体)
 ↓
Top-k Documents
(取得された上位k件の文書)
 ↓
Retrieval Critic
(検索結果の評価者)
 ├─ Good → Generate
 │        (回答生成へ進む)
 └─ Bad → Rewrite Query / Increase k
          (クエリ再生成 / Top-k 増加)

【評価指標】

  • Recall / Precision
  • MRR
  • nDCG
  • 正解文書が Top-k に含まれているか

【特徴】
✅ RAG 失敗の原因を切り分けやすい
❌ 正解文書の定義が必要

【向いている用途】

  • 検索アルゴリズム比較
  • インデックス品質検証
  • Retriever のチューニング

4-2-4. ルールベース・ヒューリスティック評価

LLM を使わず、明示的なルールで機械的に評価する手法です。
CI/CD や本番モニタリングでは不可欠な存在です。

【代表的なルール】

  • 回答が空でないか
  • 引用が含まれているか
  • 禁止ワードや形式違反がないか

【特徴】
✅ 高速・低コスト・再現性が高い
✅ 本番監視に最適
❌ 回答品質そのものは測れない

まとめ

本記事では、RAG における評価について、人手評価と自動評価をまとめました。

LLM-as-a-Judge や Self-RAG、Retrieval 評価などの自動評価手法は、RAG や Agent システムの品質改善を高速・スケーラブルに進めるうえで非常に有効です。
一方で、自動評価だけで品質を完全に担保することは、現時点ではまだ難しいのが実情です。

評価をする際は、用途に応じて評価方法を色々試してみてください。

参考リンク

Discussion