의료 교과서를 활용한 블랙박스 LLM 증강을 통한 생의학 질문 응답

ChatGPT와 같은 대규모 언어 모델(LLM)은 인간의 지시에 기반한 응답 생성 능력에서 뛰어난 성과를 보였습니다. 그러나 의료 분야에서는 구체적이고 심층적인 지식이 부족하여 활용에 어려움이 있습니다. 본 연구에서는 LLMs Augmented with Medical Textbooks (LLM-AMT)라는 시스템을 제안하여, LLM의 전문 분야 숙련도를 향상시키고자 합니다. LLM-AMT는 권위 있는 의료 교과서를 플러그 앤 플레이 모듈을 통해 LLM의 프레임워크에 통합합니다. 이 모듈들은 Query Augmenter, Hybrid Textbook Retriever, Knowledge Self-Refiner를 포함하며 함께 권위 있는 의료 지식을 반영합니다. 또한, LLM Reader가 문맥 이해를 지원합니다. 세 가지 의료 질문 응답 과제에 대한 실험 결과, LLM-AMT는 11.6%에서 16.6%까지 정확도 향상을 보이며 응답 품질을 크게 개선함을 증명했습니다. 특히, GPT-4-Turbo를 기본 모델로 사용할 때, LLM-AMT는 방대한 의료 말뭉치로 사전학습된 특화 모델인 Med-PaLM 2보다 2-3% 더 뛰어난 성능을 보였습니다. 의료 교과서가 위키피디아보다 100배 작은 크기임에도 불구하고, 의료 도메인에서 교과서는 더 효과적인 지식 데이터베이스임이 입증되어 성능을 7.8%에서 13.7% 향상시켰습니다.