본 연구는 긴급상황에서 한국어 문해력이 낮은 농인의 소통을 돕는 실시간 수어해석 앱을 제안한다. 기존 시스템의 한계를 보완하고자, 사용자는 스마트폰 카메라로 수어 영상을 촬영하며 ‘카테고리’와 ‘컨텍스트 단어’를 입력할 수 있다. 기술적으로, MediaPipe로 추출한 손과 상체 랜드마크를 특징 벡터로 변환해 Bi-LSTM 기반 모델로 단어를 인식하고, 이 결과를 사용자 문맥 정보와 결합하여 LLM이 자연스러운 문장을 생성한다. 220개의 수어 단어 분류 테스트 결과, 제안된 모델은 Accuracy 90%, F1-Score 89.11%를 달성했으며, 문맥적 모호성을 개선하여 소통의 정확성을 높였다.
Hong et al. (Sat,) studied this question.