TRACE: 언어 모델을 위한 학습 및 추론 시 해석 가능성 분석

언어 모델 학습 중에 언어 지식이 언제 어떻게 형성되는지를 이해하는 것은 해석 가능성 연구에서 핵심 과제입니다. 기존의 대부분 도구들은 사후 분석 방식이며, 스칼라 지표에 의존하거나 비간단한 통합 노력을 요구해, 포괄적 해석 가능성 분석의 배포 및 유지관리가 어렵습니다. 우리는 트랜스포머 모델의 학습 및 추론 시 해석 가능성 분석을 위한 모듈형 툴킷 TRACE를 소개합니다. 이 툴킷은 피처 프로빙, 내재 차원성, 헤시안 곡률, 출력 진단 등 언어학적 및 표현 신호에 대한 경량화된 학습 중 분석을 가능하게 합니다. 또한, 정밀한 언어 특징 획득 평가를 위한 구조화된 주석을 제공하는 제어 가능한 합성 말뭉치 생성기 ABSynth와 통합됩니다. 자기회귀 트랜스포머 실험 결과, TRACE는 전통적 스칼라 지표인 손실이나 정확도가 간과하는 초기 통사 출현, 지연된 의미 획득, 표현 압축 등의 발달 현상을 밝혀냅니다. 최소한의 통합 노력으로 이 툴은 층별 진단, 수렴 기반 조기 중지, 구조적 오류 탐지를 가능하게 하여 트랜스포머 분석을 해석 가능하고 실행 가능하며 재현 가능하게 만듭니다.