금융 데이터 주석자로서의 대형 언어 모델: 효과성과 효율성에 관한 연구

금융 분야에서 라벨이 지정된 데이터셋을 수집하는 것은 도메인 전문가의 희소성과 이들을 고용하는 데 드는 높은 비용 때문에 어려움이 큽니다. 대형 언어 모델(LLM)은 일반 도메인 데이터셋에서 데이터 주석 작업에서 뛰어난 성과를 보여주었지만, 도메인 특화 데이터셋에 대한 그 효과는 아직 충분히 탐구되지 않았습니다. 이 격차를 해소하기 위해, 우리는 금융 문서에서 관계를 추출하는 효율적인 데이터 주석자로서 LLM의 잠재력을 조사합니다. 세 가지 LLM(GPT-4, PaLM 2, MPT Instruct)이 생성한 주석을 전문가 주석자 및 크라우드워커와 비교합니다. 현재 최첨단 LLM들이 비전문 크라우드워커에 대한 충분한 대안이 될 수 있음을 입증합니다. 다양한 프롬프트와 매개변수 설정을 사용하여 모델을 분석한 결과, 각 관계 그룹에 속하는 구체적인 예시를 제공하여 프롬프트를 맞춤화하는 것이 가장 중요함을 발견했습니다. 더 나아가, 전문가의 주의가 필요할 수 있는 출력을 식별하기 위한 신뢰성 지수(LLM-RelIndex)를 도입합니다. 마지막으로, 광범위한 시간, 비용 및 오류 분석을 수행하고 도메인 특화 환경에서 자동화된 주석의 수집 및 사용에 대한 권장사항을 제공합니다.