FAST: 트랜스포머 속도 향상을 위한 가인수화된 어텐션

원래의 fast multipole 방법과 개선된 fast Gauss 변환에 내재된 인수분해에서 영감을 받아, 고차원에서 효율적으로 작동하는 가인수화 가능한 어텐션 형태를 도입합니다. 이 접근법은 트랜스포머의 어텐션 메커니즘의 계산 및 메모리 복잡도를 O (N²)에서 O (N)으로 감소시킵니다. 이전 시도들과 비교하여, 본 연구는 희소화에 손실 없이 어텐션 행렬의 전체 표현을 유지하며, 토큰 간 전면적인(all-to-all) 관계를 포함하는 선형 확장 어텐션 메커니즘을 제시합니다. 우리는 새로운 어텐션 지표의 특성을 탐구하고 다양한 표준 환경에서 실험을 수행했습니다. 결과는 본 어텐션 메커니즘이 견고한 성능을 가지며, 자기 어텐션이 사용되는 다양한 응용 분야에서 유의미한 잠재력을 가짐을 나타냅니다.