비교 가능한 데모는 문맥 내 학습에서 중요합니다: 데모 선택에 대한 새로운 관점

문맥 내 학습(In-Context Learning, ICL)은 몇 가지 예시를 통해 대형 언어 모델(LLM)을 하위 작업에 적응시키는 중요한 패러다임입니다. ICL이 큰 성공을 거두었음에도 불구하고, 예시 수의 제약은 데모 편향(demonstration bias)을 초래할 수 있는데, 이는 LLM이 과제의 본질을 오해하게 만드는 입력-레이블 매핑입니다. 인간의 경험에서 영감을 받아, 우리는 데모 간 관계의 관점에서 이러한 편향을 완화하고자 합니다. 구체적으로, 최소한의 텍스트 편집으로 대응하는 레이블을 뒤집어 작업의 본질을 강조하고 데모 간 비교를 통해 잠재적인 우연 상관관계를 제거하는 비교 가능한 데모(Comparable Demonstrations, CDs)를 구성합니다. CDs에 대한 일련의 실험을 통해 (1) LLM에 데모 편향이 존재하며, CDs가 이를 크게 줄일 수 있음을 확인했고; (2) CDs는 특히 분포 밖(out-of-distribution) 시나리오에서 ICL에서 우수한 성능을 보였음을 발견했습니다. 요약하면, 이 연구는 새로운 관점에서 ICL 메커니즘을 탐구하여 ICL을 위한 데모 선택 전략에 대한 더 깊은 통찰을 제공합니다.