Aprovechando BERT para la clasificación del sentimiento objetivo multimodal a través de la traducción del espacio de entrada

La clasificación del sentimiento objetivo/aspecto multimodal combina el análisis del sentimiento multimodal y la clasificación del sentimiento por aspecto/objetivo. El objetivo de la tarea es combinar visión y lenguaje para entender el sentimiento hacia una entidad objetivo en una oración. Twitter es un entorno ideal para la tarea porque es inherentemente multimodal, altamente emocional y afecta eventos del mundo real. Sin embargo, los tweets multimodales son breves y están acompañados de imágenes complejas, posiblemente irrelevantes. Introducimos un modelo de dos flujos que traduce imágenes en el espacio de entrada utilizando un transformador sensible a objetos seguido de un enfoque de generación de texto no autorregresivo de una sola pasada. Luego aprovechamos la traducción para construir una oración auxiliar que proporciona información multimodal a un modelo de lenguaje. Nuestro enfoque aumenta la cantidad de texto disponible para el modelo de lenguaje y destila la información a nivel de objeto en imágenes complejas. Logramos un rendimiento de vanguardia en dos conjuntos de datos multimodales de Twitter sin modificar los internals del modelo de lenguaje para aceptar datos multimodales, demostrando la efectividad de nuestra traducción. Además, explicamos un modo de fallo de un enfoque popular para el análisis del sentimiento por aspecto cuando se aplica a tweets. Nuestro código está disponible en bluehttps: //github. com/codezakh/exploiting-BERT-thru-translation.