Exploitation de BERT pour la classification des sentiments cibles multimodaux à travers la traduction de l'espace d'entrée

La classification des sentiments cibles/aspects multimodaux combine l'analyse des sentiments multimodaux et la classification des sentiments par aspect/cible. L'objectif de la tâche est de combiner vision et langage pour comprendre le sentiment envers une entité cible dans une phrase. Twitter est un cadre idéal pour cette tâche car il est intrinsèquement multimodal, hautement émotionnel et affecte les événements du monde réel. Cependant, les tweets multimodaux sont courts et accompagnés d'images complexes, possiblement non pertinentes. Nous introduisons un modèle à deux flux qui traduit les images dans l'espace d'entrée en utilisant un transformateur conscient des objets, suivi d'une approche de génération de texte non autorégressive en un seul passage. Nous exploitons ensuite la traduction pour construire une phrase auxiliaire qui fournit des informations multimodales à un modèle de langage. Notre approche augmente la quantité de texte disponible pour le modèle de langage et distille les informations au niveau des objets dans des images complexes. Nous atteignons des performances de pointe sur deux ensembles de données Twitter multimodaux sans modifier les composantes internes du modèle de langage pour accepter des données multimodales, démontrant ainsi l'efficacité de notre traduction. De plus, nous expliquons un mode de défaillance d'une approche populaire pour l'analyse sentimentale des aspects lorsqu'elle est appliquée aux tweets. Notre code est disponible sur bluehttps://github.com/codezakh/exploiting-BERT-thru-translation.