기억 증강 트랜스포머: 신경과학 원리부터 향상된 모델 아키텍처까지의 체계적 검토

기억은 학습, 추론 및 적응성을 가능하게 하는 지능의 근본으로, 생물학적 및 인공 시스템 전반에 걸쳐 필수적입니다. 트랜스포머 아키텍처는 시퀀스 모델링에서 뛰어나지만, 장기 컨텍스트 유지, 지속적 학습, 지식 통합에서 중요한 한계에 직면합니다. 이 리뷰는 동적 다중 시간 규모 기억, 선택적 주의, 응고를 포함한 신경과학 원리와 기억 증강 트랜스포머의 공학적 진보를 연결하는 통합적 프레임워크를 제시합니다. 우리는 최근 진전을 기능적 목표(컨텍스트 확장, 추론, 지식 통합, 적응), 기억 표현(파라미터 인코딩, 상태 기반, 명시적, 하이브리드), 그리고 통합 메커니즘(주의 융합, 게이트 제어, 연관 검색)의 세 가지 분류 기준을 통해 조직합니다. 읽기, 쓰기, 망각 및 용량 관리라는 핵심 기억 작용 분석을 통해 정적인 캐시에서 적응형 테스트 시 학습 시스템으로의 전환을 드러냅니다. 확장성 및 간섭 문제와 함께 계층적 버퍼링과 놀람-게이트 업데이트 같은 신흥 해결책을 식별합니다. 이 종합은 인지 영감을 받은 평생 학습 트랜스포머 아키텍처를 향한 로드맵을 제공합니다.