시각-언어 학습을 통한 수술 비디오 작업 흐름 분석

초록 수술 비디오 작업 흐름 분석은 딥러닝 모델을 결합하여 컴퓨터 지원 수술에서 집중적으로 발전해 왔으며, 수술 장면 분석과 의사결정 향상을 목표로 하고 있습니다. 그러나 이전 연구는 주로 수술 비디오의 대략적인 분석, 예를 들어 단계 인식, 기구 인식, 그리고 수술 삼중항 내의 관계만 고려한 삼중항 인식에 집중되었습니다. 더 포괄적이고 세밀한 수술 비디오 분석을 제공하기 위해 본 연구는 수술 비디오로부터 삼중항을 정확히 식별하는 데 중점을 두었습니다. 구체적으로, 우리는 삼중항 간 관계를 탐색하고 전체 수술 과정을 모델이 이해하도록 활용하여 인식의 정확성과 견고성을 향상시키는 I2TM이라 명명한 시각-언어 딥러닝 프레임워크를 제안합니다. 또한, 시각 및 텍스트 양식 간의 삼중항 내외부 의미 관계를 구축하기 위해 새로운 수술 삼중항 의미 증강기(TSE)를 개발하였습니다. 수술 비디오 벤치마크 데이터셋에 대한 광범위한 실험 결과는 우리 방법이 더 정교한 의미를 포착하고 효과적인 수술 비디오 이해 및 분석을 달성하며, 광범위한 의료 응용 가능성을 지님을 보여줍니다.