다국어 언어 모델 사전학습

최근 연구들은 영어 자연어 이해를 위한 생성적 사전학습의 효율성을 입증했습니다. 이 연구에서는 이 접근법을 여러 언어로 확장하고 교차언어 사전학습의 효과를 보여줍니다. 우리는 두 가지 방법을 제안합니다: 하나는 단일 언어 데이터만을 사용하는 비지도 학습 방식이고, 다른 하나는 새로운 교차언어 언어 모델 목표를 활용해 병렬 데이터를 사용하는 지도 학습 방식입니다. 우리는 교차언어 분류, 비지도 및 지도 기계 번역에서 최첨단 결과를 얻었습니다. XNLI에서 우리의 접근법은 정확도를 절대 4.9% 향상시켰습니다. 비지도 기계 번역에서는 WMT'16 독일어-영어에서 34.3 BLEU를 달성해 이전 최고 기록을 9 BLEU 이상 경신했습니다. 지도 기계 번역에서는 WMT'16 루마니아어-영어에서 38.5 BLEU라는 새로운 최첨단 기록을 세워 이전 최고 기법을 4 BLEU 이상 앞섰습니다. 우리의 코드와 사전학습 모델은 공개될 예정입니다.