입력 공간 변환을 통한 다중 모달 대상 감정 분류를 위한 BERT 활용

다중 모달 대상/측면 감정 분류는 다중 모달 감정 분석과 측면/대상 감정 분류를 결합합니다. 이 작업의 목표는 비전과 언어를 결합하여 문장에서 대상 개체에 대한 감정을 이해하는 것입니다. 트위터는 본질적으로 다중 모달이고, 매우 감정적이며, 실제 사건에 영향을 미치기 때문에 이 작업에 이상적인 환경입니다. 그러나 다중 모달 트윗은 짧고 복잡하며, 관련이 없을 수 있는 이미지가 함께 있습니다. 우리는 객체 인식 변환기를 사용하여 입력 공간의 이미지를 변환하는 이중 스트림 모델을 소개하며, 후속으로 단일 패스 비자율 텍스트 생성 방법을 적용합니다. 그런 다음 변환된 정보를 활용하여 언어 모델에 다중 모달 정보를 제공하는 보조 문장을 구성합니다. 우리의 접근 방식은 언어 모델에 사용할 수 있는 텍스트의 양을 증가시키고 복잡한 이미지에서 객체 수준 정보를 정제합니다. 우리는 다중 모달 데이터를 수용하기 위해 언어 모델의 내부를 수정하지 않고도 두 개의 다중 모달 트위터 데이터셋에서 최첨단 성능을 달성하여 우리의 변환의 효과를 입증합니다. 또한, 우리는 트윗에 적용할 때 측면 감정 분석을 위한 인기 있는 접근 방식의 실패 모드를 설명합니다. 우리의 코드는 bluehttps: //github. com/codezakh/exploiting-BERT-thru-translation에 있습니다.