스킵-레이어 어텐션: 트랜스포머에서 추상적 및 상세한 의존성 연결

트랜스포머 아키텍처는 특히 자연어 처리 분야에서 장거리 의존성을 효과적으로 관리하여 딥러닝 발전에 크게 기여해왔습니다. 하지만 복잡한 관계 이해에 대한 요구가 증가함에 따라 트랜스포머 아키텍처의 정교화가 중요해졌습니다. 본 논문에서는 인접하지 않은 레이어 간 직접 어텐션을 가능하게 하는 스킵-레이어 어텐션(SLA)을 도입하여 트랜스포머 모델을 향상시킵니다. 이 방법은 고수준 추상 특징과 저수준 세부 정보 간 의존성 포착 능력을 개선합니다. 서로 다른 특징 수준 간 직접 어텐션을 촉진함으로써, 본 접근법은 최적화되지 않은 내부 레이어 어텐션에 의존하는 기존 트랜스포머의 한계를 극복합니다. 구현에서는 특정 레이어의 쿼리가 현재 레이어와 그 이전 레이어의 키와 값 모두와 상호작용할 수 있도록 하여 추가 계산 부담 없이 멀티헤드 어텐션의 다양성을 증대시킵니다. 광범위한 실험 결과, 본 향상된 트랜스포머 모델이 언어 모델링 작업에서 우수한 성능을 달성함을 보여주어 스킵-레이어 어텐션 메커니즘의 효율성을 입증합니다.