検索拡張生成システム構築における7つの失敗点

ソフトウェアエンジニアは、Retrieval Augmented Generation（RAG）と呼ばれる戦略を用いて、アプリケーションに意味検索機能をますます追加しています。RAGシステムは、クエリに意味的に一致する文書を見つけ、その後ChatGPTのような大規模言語モデル（LLM）に文書を渡して正しい答えを抽出させる仕組みです。RAGシステムの目的は、a) LLMの幻覚応答の問題を減らすこと、b) 生成された応答に対して情報源や参考文献をリンクすること、c) 文書にメタデータを注釈付けする必要をなくすことです。しかし、RAGシステムは情報検索システムに内在する制約とLLMへの依存から生じる問題に悩まされています。本論文では、研究、教育、バイオメディカルという異なる3つの領域における事例研究を通じて、RAGシステムの失敗点に関する経験報告を行います。得られた教訓を共有し、RAGシステム設計時に考慮すべき7つの失敗点を示します。我々の研究から得られる重要なポイントは、1) RAGシステムの妥当性検証は運用時にのみ可能であること、2) RAGシステムの堅牢性は設計段階で固定されるのではなく進化することである、という2点です。最後に、ソフトウェア工学コミュニティのためのRAGシステムに関する今後の研究方向を示します。