ChatGPT: 수동 언어 데이터 주석의 종말의 시작? 자동 장르 식별의 활용 사례

ChatGPT는 자연어 생성 작업에서 강력한 능력을 보여주어 연구자들로 하여금 그 능력의 한계를 탐구하게 합니다. 본 논문에서는 ChatGPT가 제로샷 텍스트 분류, 특히 자동 장르 식별에 사용될 수 있는지 검토합니다. 우리는 장르로 수동 주석된 데이터셋으로 미세조정된 다국어 XLM-RoBERTa 언어 모델과 ChatGPT를 비교합니다. 이들 모델은 영어와 슬로베니아어 두 언어의 테스트 세트에서 비교되었습니다. 결과는 두 모델 모두 이전에 본 적 없는 데이터셋에 적용했을 때 ChatGPT가 미세조정된 모델을 능가함을 보여줍니다. 또한 리소스가 부족한 언어인 슬로베니아어에 적용했을 때도 ChatGPT의 성능은 영어에 적용했을 때보다 떨어지지 않았습니다. 그러나 모델을 슬로베니아어로 완전히 프롬프트할 경우 성능이 크게 저하되어, 소규모 언어에서 ChatGPT 사용의 현재 한계를 나타냅니다. 이 결과는 슬로베니아어와 같은 소규모 언어에서도 수고로운 수동 주석 캠페인이 종말에 접어들 가능성에 대해 의문을 제기합니다.