تحليل سير عمل الفيديو الجراحي من خلال التعلم البصري اللغوي

الملخص لقد شهد تحليل سير عمل الفيديو الجراحي تطورًا مكثفًا في الجراحة المدعومة بالحاسوب من خلال دمج نماذج التعلم العميق، بهدف تعزيز تحليل المشاهد الجراحية واتخاذ القرار. ومع ذلك، ركزت الأبحاث السابقة في الغالب على التحليل الخشن الدقة لفيديوهات الجراحة، مثل التعرف على المراحل، والتعرف على الأدوات، والتعرف على الثنائيات الثلاثية التي تأخذ بعين الاعتبار فقط العلاقات ضمن الثنائيات الثلاثية الجراحية. ومن أجل توفير تحليل أكثر شمولية ودقة لفيديوهات الجراحة، يركز هذا العمل على التعرف الدقيق على الثنائيات الثلاثية من الفيديوهات الجراحية. على وجه التحديد، نقترح إطار تعلم عميق بصري-لغوي يدمج نمذجة داخلية وبينية للثنائيات، يُدعى I2TM، لاستكشاف العلاقات بين الثنائيات الثلاثية والاستفادة من فهم النموذج للعملية الجراحية بأكملها، مما يعزز دقة وموثوقية التعرف. بالإضافة إلى ذلك، نطور أيضًا محسن دلالي جديد للثنائيات الجراحية (TSE) لإنشاء علاقات دلالية داخلية وبينية عبر الوسائط البصرية والنصية. تُظهر النتائج التجريبية المكثفة على مجموعات بيانات مرجعية لفيديوهات الجراحة أن منهجنا قادر على التقاط دلالات أدق، وتحقيق فهم وتحليل فعال لفيديوهات الجراحة، مع إمكانيات واسعة للتطبيقات الطبية.