STL-CQA: 차트 질문 응답을 위한 위치 지정 및 인코딩 기반 구조적 트랜스포머

차트 질문 응답(CQA)은 차트 이미지 내 시각화에 관한 자연어 질문에 답하는 과제입니다. 최근 VQA 접근법에서 영감을 받은 솔루션들은 질문/응답을 위해 이미지 기반 어텐션에 의존하지만 고유한 차트 구조를 무시합니다. 우리는 순차적 요소 위치 지정, 질문 인코딩, 그리고 구조적 트랜스포머 기반 학습 접근법을 통해 질문/응답을 개선하는 STL-CQA를 제안합니다. 우리는 사전 학습 과제, 방법론, 그리고 다양한 유형의 더 복잡하고 균형 잡힌 질문을 포함한 개선된 데이터셋을 제안하며 광범위한 실험을 수행합니다. 제안된 방법론은 다양한 차트 Q/A 데이터셋에서 최첨단 접근법에 비해 유의미한 정확도 향상을 보이며, DVQA 데이터셋에서는 인간 기준치마저 능가합니다. 또한 추론 파이프라인의 다양한 구성 요소를 검토하며 해석 가능성을 입증합니다.