Segurança dos Modelos de Linguagem Grande Multimodais em Imagens e Texto

Atraído pelo impressionante poder dos Modelos de Linguagem Grande Multimodais (MLLMs), o público está cada vez mais os utilizando para melhorar a eficiência do trabalho diário. No entanto, as vulnerabilidades dos MLLMs a instruções inseguras trazem enormes riscos de segurança quando esses modelos são implantados em cenários do mundo real. Neste artigo, fazemos uma revisão sistemática dos esforços atuais na avaliação, ataque e defesa da segurança dos MLLMs em imagens e texto. Começamos com a introdução da visão geral dos MLLMs em imagens e texto e da compreensão de segurança, o que ajuda os pesquisadores a conhecer o escopo detalhado de nossa revisão. Em seguida, revisamos os conjuntos de dados de avaliação e métricas para medir a segurança dos MLLMs. Depois, apresentamos de forma abrangente técnicas de ataque e defesa relacionadas à segurança dos MLLMs. Finalmente, analisamos várias questões não resolvidas e discutimos direções promissoras de pesquisa. Os artigos relevantes estão coletados em "https://github.com/isXinLiu/Awesome-MLLM-Safety".