검색 증강 생성 시스템 설계 시 발생하는 7가지 실패 지점

소프트웨어 엔지니어들은 점점 Retrieval Augmented Generation(RAG)으로 알려진 전략을 사용하여 애플리케이션에 의미 기반 검색 기능을 추가하고 있습니다. RAG 시스템은 쿼리와 의미적으로 일치하는 문서를 찾아 대형 언어 모델(예: ChatGPT)에 전달하여 올바른 답을 추출하도록 합니다. RAG 시스템의 목표는 a) 대형 언어 모델의 환각 반응 문제를 줄이고, b) 생성된 응답에 출처/참고문헌을 연결하며, c) 문서에 메타데이터를 주석 처리할 필요를 없애는 것입니다. 그러나 RAG 시스템은 정보 검색 시스템 특유의 한계와 대형 언어 모델에 대한 의존에서 비롯된 문제를 겪습니다. 본 논문에서는 연구, 교육, 생의학 등 세 분야의 사례 연구를 통해 RAG 시스템의 실패 지점에 관한 경험 보고를 제시합니다. 배운 교훈을 공유하며 RAG 시스템 설계 시 고려해야 할 7가지 실패 지점을 소개합니다. 본 연구의 두 가지 주요 시사점은 1) RAG 시스템 검증은 운영 중에만 가능하며, 2) RAG 시스템의 견고성은 처음 설계 시 결정되는 것이 아니라 점차 발전한다는 것입니다. 끝으로 소프트웨어 공학 커뮤니티를 위한 RAG 시스템의 잠재적 연구 방향들을 제시합니다.