공유 메모리를 통한 어텐션 분해의 어려움에 관하여

트랜스포머는 자연어 처리, 컴퓨터 비전, 오디오 처리 등 여러 분야에서 딥러닝에 혁신을 가져왔습니다. 이들의 강점은 복잡한 입력 간 관계를 발견할 수 있게 하는 어텐션 메커니즘에 있습니다. 하지만 이 메커니즘의 이차 시간 및 메모리 복잡도는 더 큰 입력에 대해 도전을 제기합니다. 연구자들은 현재 Linear Unified Nested Attention (Luna)나 Memory Augmented Transformer와 같이 외부 학습 가능한 메모리를 활용하여 어텐션 계산 복잡도를 선형으로 줄이거나 청크 단위 처리에서 청크 간 정보 전달을 수행하는 모델을 조사하고 있습니다. 우리의 연구 결과는 이러한 모델에 대한 기존의 통념에 도전하며, 메모리와 직접 어텐션 연산으로 인터페이싱하는 것은 최적이 아니며, 입력 신호를 메모리와 통신하기 전에 필터링함으로써 성능이 상당히 개선될 수 있음을 보여줍니다.