단계별로 배우기: 커리큘럼 학습으로 문맥 내 학습 능력 향상

중요한 문맥 내 학습(ICL) 전략인 시범 순서 지정은 대형 언어 모델(LLMs)의 성능에 큰 영향을 미칠 수 있습니다. 그러나 현재 대부분의 순서 지정 방법은 추가 지식과 유사도 계산을 필요로 합니다. 우리는 추론 과정에서 프롬프트 시범의 복잡도를 점진적으로 증가시키는, 간단하지만 효과적인 ICL용 시범 순서 지정 방법인 소수 샷 문맥 내 커리큘럼 학습(ICCL)을 제안합니다. 이후 ICCL의 효과성, LLM의 ICCL 능력 형성 기전, 그리고 순서 지정 주제의 영향에 대해 세 가지 실험을 설계했습니다. 실험 결과는 지시 조정 단계에서 개발된 ICCL이 오픈 소스 LLM에 효과적임을 보여줍니다. 또한 LLM은 시범 난이도 판별에서 인간에 비해 능력이 다소 약함을 나타냅니다. 저희 코드는 https://github.com/61peng/curriₗearning 에 공개되어 있습니다.