EulerFormer: 복소벡터 주의 메커니즘을 이용한 순차적 사용자 행동 모델링

사용자 선호를 포착하기 위해, 변환기(transformer) 모델은 순차적 사용자 행동 데이터를 모델링하는 데 널리 적용되어 왔다. 변환기 아키텍처의 핵심은 시퀀스 내의 쌍별 주의(attention) 점수를 계산하는 자기 주의 메커니즘에 있다. 순열 등변성(permutation-equivariant) 특성 때문에, 토큰 표현 간의 주의를 강화하기 위해 위치 인코딩이 사용된다. 이러한 설정에서, 쌍별 주의 점수는 의미적 차이와 위치적 차이 모두에 의해 도출될 수 있다. 그러나 이전 연구들은 두 가지 차이 측정 방식을 각각 다르게 모델링하는 경우가 많아, 시퀀스 모델링의 표현 능력을 제한할 가능성이 있다. 이러한 문제를 해결하기 위해, 본 논문은 EulerFormer라 명명한 복소벡터 주의 기능을 갖춘 새로운 변환기 변형을 제안하며, 의미적 차이와 위치적 차이를 공식화하는 통일된 이론적 틀을 제공한다. EulerFormer는 두 가지 핵심 기술적 개선을 포함한다. 첫째, 오일러 공식(Euler's formula)을 사용하여 시퀀스 토큰들을 극형식 복소벡터로 효율적으로 변환하는 새로운 변환 함수를 적용하여 의미 및 위치 정보를 복소 회전 형태로 통합 모델링할 수 있게 한다. 둘째, 의미 회전 각도가 적응 함수에 의해 제어되는 미분 회전 메커니즘을 개발하여 의미적 맥락에 따라 의미 정보와 위치 정보를 적응적으로 통합할 수 있게 한다. 더불어, EulerFormer의 문맥 표현의 비등방성을 개선하기 위해 위상 대비 학습(phase contrastive learning) 과제를 제안한다. 본 이론적 틀은 높은 완전성과 일반성을 가지며, 의미적 변동에 더 강인하고 근본적으로 더 우수한 이론적 특성을 지닌다. 네 개의 공개 데이터셋에서 수행된 광범위한 실험은 본 접근법의 효과성과 효율성을 입증한다.