ChartMimic：Chart-to-Code生成によるLMMのクロスモーダル推論能力評価

私たちは、大規模マルチモーダルモデル（LMM）の視覚に基づくコード生成能力を評価する新しいベンチマーク、ChartMimicを紹介します。ChartMimicは、情報量の多い視覚的チャートとテキストによる指示を入力として用い、LMMにチャートレンダリングのための対応するコード生成を要求します。ChartMimicには、物理学、コンピュータサイエンス、経済学などの様々な分野の科学論文に見られる実際のチャート使用例を表す、1000件の人手で精選された（図、指示、コード）の三つ組が含まれています。これらのチャートは18種類の一般的なタイプと4種類の高度なタイプにわたり、191のサブカテゴリーに細分化されています。さらに、出力コードとレンダリングされたチャートの自動かつ徹底的な評価を提供する多段階評価指標を提案します。既存のコード生成ベンチマークとは異なり、ChartMimicは視覚理解、コード生成、クロスモーダル推論を含む認知能力の融合を調和させるLMMの能力の評価に重点を置いています。3つの独自モデルと11のオープンウェイトモデルの評価により、ChartMimicがもたらす大きな課題が明らかになりました。高度なGPT-4VやClaude-3-opusでさえ、それぞれ平均スコア73.2と53.7にとどまり、改善余地が大きいことを示しています。私たちはChartMimicがLMMの開発を刺激し、人工汎用知能の実現に向けた進展を促すことを期待しています。