T-RAG：LLMの最前線からの教訓

大規模言語モデル（LLM）は卓越した言語能力を示しており、さまざまな分野のアプリケーションに統合しようとする試みが進んでいます。重要な応用領域の一つは、プライベート企業文書に対する質問応答であり、主な考慮事項はデータセキュリティです。これにはオンプレミスで展開可能なアプリケーション、限られた計算資源、そしてクエリに正確に応答する堅牢なアプリケーションの必要性があります。Retrieval-Augmented Generation（RAG）は、LLMベースのアプリケーション構築において最も著名なフレームワークとして浮上しています。RAGの構築は比較的簡単ですが、堅牢かつ信頼できるアプリケーションにするには、広範なカスタマイズとアプリケーション領域に関する深い知識が必要です。私たちは、プライベートな組織文書に対する質問応答のためのLLMアプリケーションの構築と展開における経験を共有します。私たちのアプリケーションは、RAGの利用とファインチューニングされたオープンソースLLMを組み合わせています。さらに、私たちのシステムであるTree-RAG（T-RAG）は、組織内のエンティティ階層を表現するためにツリー構造を用いています。これは、組織の階層内のエンティティに関するユーザークエリに応答する際の文脈を補強するためのテキスト記述を生成するために使用されます。評価結果は、この組み合わせが単純なRAGまたはファインチューニングの実装よりも優れていることを示しています。最後に、実世界での使用に向けたLLMアプリケーション構築の経験に基づく教訓を共有します。