의료 RAG 분석: 질문 응답에서 복잡성보다 재랭킹이 중요한 이유

Retrieval-Augmented Generation(RAG) 시스템은 대규모 언어 모델과 정보 검색을 통합하여 응답을 사실 데이터에 기반하게 합니다. 본 연구는 의료 질문 응답 시스템에서 각 RAG 구성 요소의 기여도를 종합적인 제거 분석을 통해 체계적으로 평가했습니다. 6개의 핵심 요소로 구성된 계층적 RAG 아키텍처를 설계했습니다: 계층적 의도 분류, 쿼리 재작성, 2단계 검색(FAISS를 이용한 조밀 검색 + Clinical-Longformer를 활용한 교차 인코더 재랭킹), 및 전문가 라우팅. MedQA 벤치마크에서 476개의 의료 질문을 대상으로 7가지 구성에 대해 체계적인 제거 실험을 수행했습니다. 각 구성은 LLM 심사자로서 GPT-4o mini를 사용하여 네 가지 지표(맥락 관련성, 완전성, 충실도, 정확성, 1-5 리커트 척도)로 독립적으로 평가했고, 각 지표는 상호 지표 바이어스를 최소화하기 위해 별도의 평가 호출을 통해 산정했습니다. 통계적 유의성은 페어드 t-검정과 효과 크기 계산(Cohen’s d)으로 검증했습니다. 전체 시스템의 종합 점수는 3.64/5.0이었습니다. 체계적 제거 분석을 통해 두 가지 핵심 요소가 밝혀졌습니다: 재랭킹(제거 시: 전반적 점수 -0.24, P