Peacock: Una Familia de Modelos de Lenguaje Multimodal Grandes en Árabe y Benchmark

Los modelos de lenguaje multimodal grandes (MLLMs) han demostrado ser efectivos en una amplia gama de tareas que requieren razonamiento complejo y comprensión lingüística. Sin embargo, debido a la falta de recursos multimodales de alta calidad en idiomas distintos al inglés, el éxito de los MLLMs sigue siendo relativamente limitado a entornos basados en el inglés. Esto plantea desafíos significativos para desarrollar modelos comparables en otros idiomas, incluyendo aquellos con grandes poblaciones de hablantes como el árabe. Para aliviar este desafío, presentamos una familia integral de MLLMs en árabe, denominada Peacock, con fuertes capacidades visuales y lingüísticas. A través de un análisis cualitativo y cuantitativo exhaustivo, demostramos el sólido desempeño de nuestros modelos en varias tareas de razonamiento visual y además mostramos su potencial emergente dialectal. Adicionalmente, presentamos ~Henna, un nuevo benchmark diseñado específicamente para evaluar MLLMs en aspectos relacionados con la cultura árabe, sentando la primera piedra para MLLMs árabes con conciencia cultural. El repositorio de GitHub para el proyecto Peacock está disponible en https://github.com/UBC-NLP/peacock.