نماذج الرؤية واللغة في الاستشعار عن بُعد: التقدم الحالي والاتجاهات المستقبلية

إن الإنجازات الاستثنائية لـ ChatGPT وGenerative Pre-trained Transformer 4 (GPT-4) أثارت موجة من الاهتمام والبحث في مجال نماذج اللغة الكبيرة (LLMs) للذكاء الاصطناعي العام (AGI). توفر هذه النماذج حلولاً ذكية أقرب إلى التفكير البشري، مما يتيح لنا استخدام الذكاء الاصطناعي العام لحل المشكلات في تطبيقات متعددة. ومع ذلك، في مجال الاستشعار عن بُعد (RS)، لا تزال الأدبيات العلمية حول تطبيق AGI قليلة نسبيًا. تركز الأبحاث المتعلقة بالذكاء الاصطناعي في RS بشكل رئيسي على مهام الفهم البصري بينما تغفل عن الفهم الدلالي للأشياء وعلاقاتها. وهنا تتفوق نماذج الرؤية واللغة (VLMs) لأنها تمكّن من الاستدلال حول الصور والوصف النصي المرتبط بها، مما يسمح بفهم أعمق للدلالات الأساسية. يمكن لـ VLMs أن تتجاوز التعرف البصري على صور RS وأن نمذج العلاقات الدلالية بالإضافة إلى توليد أوصاف باللغة الطبيعية للصورة. هذا يجعلها أكثر ملاءمة للمهام التي تتطلب فهمًا بصريًا ونصيًا، مثل شرح الصور والإجابة على الأسئلة البصرية (VQA). تقدم هذه المقالة مراجعة شاملة للأبحاث حول VLMs في RS، تلخص التقدم الأخير، تبرز التحديات الحالية، وتحدد فرص البحث المحتملة. على وجه التحديد، نراجع تطبيق VLMs في المهام الرئيسية في RS، بما في ذلك شرح الصور، توليد الصور بناءً على النص، استرجاع الصور بناءً على النص (TBIR)، VQA، تصنيف المشاهد، التقسيم الدلالي، واكتشاف الأشياء. لكل مهمة، نحلل الأعمال النمطية ونناقش تقدم البحث. أخيرًا، نلخص حدود الأعمال الحالية ونقترح اتجاهات ممكنة للتطوير المستقبلي. تهدف هذه المراجعة إلى تقديم نظرة شاملة على تقدم البحث الحالي في VLMs في RS (انظر الشكل 1)، ولإلهام المزيد من البحث في هذا المجال المثير والواعد.