인기 없는 지식에 대한 파인 튜닝과 검색 확대 생성의 비교

언어 모델(LM)은 방대한 사실 지식을 기억하며 다양한 작업과 도메인에서 강력한 성능을 보입니다. 그러나 도메인별 응용 분야 등에서 덜 인기 있거나 빈도가 낮은 개념 및 실체를 다룰 때 성능이 저하되는 현상이 관찰되었습니다. 빈도가 낮은 주제에서 LM의 성능을 향상시키기 위한 두 가지 주요 접근법은 검색 확대 생성(RAG)과 합성 데이터를 이용한 파인 튜닝(FT)입니다. 본 논문은 질문 응답 과제에서 빈도가 낮은 실체를 처리하기 위한 RAG와 FT의 영향력을 탐구하고 평가합니다. 크기와 유형이 다양한 열두 개의 LM과 다양한 파인 튜닝, 데이터 증강, 검색 모델에 대해 광범위한 실험을 수행했습니다. 연구 결과, FT가 다양한 인기 수준의 실체에 대해 성능을 향상시키는 반면, RAG는 특히 가장 덜 인기 있는 사실 지식에 대해 FT를 큰 폭으로 능가함을 확인했습니다. 또한 RAG와 FT 모두 검색 및 데이터 증강 기술 개선에 의해 성공이 증대됨을 밝혔습니다. 파인 튜닝은 작은 LM에는 유리하지만 많은 자원을 필요로 합니다. 이 문제를 해결하기 위해, 본 연구는 파인 튜닝 기반 접근 방식을 능가하며 덜 인기 있는 사실 지식으로 LM을 풍부하게 하는 데 비용이 많이 드는 데이터 증강 및 파인 튜닝 단계를 생략하는 새로운 Stimulus RAG 방식을 제안합니다. 소스 코드는 https://github.com/informagi/RAGvsFT 에서 확인할 수 있습니다.