基于LoRA微调的多模态RAG系统用于技术手册问答：以现代Staria为例

本研究开发了一种领域自适应多模态RAG（检索增强生成）系统，以提高基于大规模结构化手册的技术问答的准确性和效率。以现代Staria维修文档为案例，我们从PDF手册中提取文本和图像，构建了QA、RAG和多轮问答数据集，反映真实的故障排除场景。为克服基线RAG模型的局限性，我们提出了一种增强架构，结合了句子级相似性注释和基于LoRA（低秩适配）的参数高效微调，使用bLLossom-8B语言模型和BAAI-bge-m3嵌入模型。实验结果显示，所提系统在BERTScore上提升了3.0%p，余弦相似度提升3.0%p，ROUGE-L提升18.0%p，相较于现有RAG系统，在图像引导响应准确性方面有显著提升。20位领域专家的定性评估平均满意度得分为4.4（满分5分）。本研究提出了一个实用且可扩展的多模态文档理解AI框架，广泛适用于汽车、工业及国防相关的技术文档。