RAGとロングコンテキスト
生成ai関連に手を出してるコンサルティングファームは、だいたいエージェント技術とRAGと聞いたことがある。AIエージェントの方が個人的に関心も強くてまぁまぁ書いてるけど
もう1つのアプローチ、RAGの方も改めて理解しておかないとな状況だったので、これまでの情報も集約しつつ、このページを立てました。
RAGってなに&なぜ
RAG(Retrieval Augmented Generation)は、大規模言語モデル(LLM)の性能を向上させるための技術であり、LLMが回答を生成する際に、LLM自身が学習してない情報を、外部のデータベース等から取得し、それを基に回答を生成するアプローチ。
LLMを社内業務で使ってイマイチに感じる一番の理由は、LLMが学習した一般的な知識だけでは自社固有の課題に応えないから。そこで自社データを読み込ませて使えるようにするのがRAG(外部知識検索による強化)ということ
そして、実務におけるRAG もだいぶ進歩してきた。ザックリ概観
LLMによるテキストのデータ拡張の分類
Simple/Prompt-based/Retrieval-based/Hybridの4つに手法を分類したサーベイ論文。
Long-Context(LC)とRAGの比較では、Wikipediaや物語形式のコンテキストではLCが優勢、対話形式データではRAGが有利だとか
とはいえ、長文コンテキストLLMのベンチマークNoLiMaでは、どのLLMでもコンテキスト長が大きくなると精度が低下する傾向、それはそう。。。
RAGで「無関係な」文書を入れると、逆に精度が上がるってのは面白い
その他、個別技術まとめ
ナレッジグラフを使ったアプローチ
は少しまとめておく。直近で僕自身が使うかは別として。
評価の仕方
についても進展しているので最後に
あとはRAGすることで逆に性能が落ちるテキストとか、よろしくない入力を防ぐ「ガードレール」とかRAGの実践的な使い方について
他にも良い情報があれば適時このページに追加していく予定です