FiD-Light: 효율적이고 효과적인 검색 강화 텍스트 생성

검색 강화 생성 모델은 단독 언어 모델보다 많은 이점을 제공합니다: 주어진 쿼리에 대한 텍스트 답변 외에도 업데이트 가능한 지식 기반에서 검색된 근거 항목을 제공합니다. 그러나 이들은 더 복잡한 시스템이며 긴 입력을 처리해야 합니다. 본 연구에서는 최첨단 검색 강화 FiD 모델의 효율성을 크게 향상시키면서 동일한 수준의 효과를 유지하는 FiD-Light를 소개합니다. FiD-Light 모델은 인코더(각각의 문단을 별도로 인코딩하는)에서 디코더(연결된 인코딩 표현을 사용하는)로의 정보 흐름을 제한합니다. 또한, 텍스트 출처 포인터를 통한 재순위 지정 기능으로 FiD-Light를 조정하여 상위 순위 근거 정확도를 향상시켰습니다. KILT의 다양한 7가지 지식 집약적 작업에 대한 실험에서 FiD-Light는 쿼리 지연 시간과 효과성 사이의 파레토 최적선을 일관되게 개선함을 보여줍니다. 출처 포인터가 포함된 FiD-Light는 텍스트 생성과 근거 검색 평가를 결합한 6개 KILT 작업에서 상당한 새로운 최첨단 결과를 세우면서도 높은 효율성을 유지합니다.