행동 예측을 위한 의미 기반 표현 학습

행동 예측은 부분적으로 관찰된 일련의 이벤트에서 미래 활동을 예측하는 과제입니다. 그러나 이 과제는 내재된 미래 불확실성과 상호 연결된 행동에 대한 추론의 어려움에 직면해 있습니다. 이전 연구들이 더 나은 시각적 및 시간적 정보를 외삽하는 데 중점을 둔 것과 달리, 우리는 시범적 행동 패턴과 맥락적 동시 발생에 기반한 의미적 상호 연결성을 인식하는 행동 표현 학습에 집중합니다. 이를 위해 새로운 의미 기반 표현 학습(Semantically Guided Representation Learning, S-GEAR) 프레임워크를 제안합니다. S-GEAR는 시각적 행동 프로토타입을 학습하고 언어 모델을 활용하여 이들의 관계를 구조화하여 의미성을 유도합니다. S-GEAR의 효과를 평가하기 위해 네 가지 행동 예측 벤치마크에서 테스트한 결과, 이전 연구 대비 향상된 결과를 얻었습니다: Epic-Kitchen 55, EGTEA Gaze+, 50 Salads에서 Top-1 정확도가 각각 절대 +3.5, +2.7, +3.5 포인트 상승하였고, Epic-Kitchens 100에서 Top-5 리콜이 +0.8 상승하였습니다. 또한 S-GEAR는 행동 간 기하학적 연관성을 언어에서 시각적 프로토타입으로 효과적으로 이전함을 관찰하였습니다. 마지막으로, S-GEAR는 행동 의미 상호 연결성의 복잡한 영향을 입증함으로써 예측 과제에서 새로운 연구 영역을 열었습니다.