Design of Multimodal Data-driven Approach for Analyzing Learner Behavior Patterns

최근 교육 환경은 학습자의 비언어적 행동을 분석하여 수업의 질을 관리하려는 요구가 증가하고 있다. 그러나 기존 연구는 출석 확인이나 제한된 분석 기준에 머물러 학습자의 실질적인 몰입도와 인지적 참여 상태를 해석하기 위한 정보를 획득하기에 한계가 있다. 본 논문에서는 학습자의 행동 패턴을 다각도로 측정하기 위해 두 가지 상호 보완적인 데이터 추출 방식을 결합한 멀티모달(Multimodal) 분석 방법을 제안한다. 모달리티 1은 웹 카메라 기반의 비전 데이터 분석으로, 학습자의 얼굴 자세(Head Pose)와 화면상 위치를 추적하여 시선 방향과 위치별 빈도를 추출함으로써 얼굴 행동패턴을 분석한다. 모달리티 2는 키보드 및 마우스의 입력장치 데이터 분석으로, 클릭, 스크롤, 타이핑을 실시간으로 감지하여 능동적인 상호작용 수준을 정량적으로 측정하고, 기 등록된 중요 학습 키워드 입력 여부를 추적하여 학습자의 관심 사항을 파악할 수 있게 해준다. 추출된 두 가지 모달리티 데이터를 히트맵과 타임라인 그래프로 시각화하여 교수자가 학습자의 행동 특성을 직관적으로 파악할 수 있도록 구현하였다. 이러한 멀티모달 행동 분석은 교수자가 학습자 개개인의 참여도를 객관적 지표에 근거하여 파악할 수 있도록 지원하며, 수업 설계 개선을 위한 기초 자료로 활용될 수 있을 것으로 기대한다.