3DBench：一个可扩展的三维基准和指令微调数据集

评估融合点云和语言的多模态大型语言模型（MLLMs）性能面临巨大挑战。缺乏全面的评估阻碍了确定这些模型是否真正代表进步，从而妨碍了该领域的进一步发展。目前的评估主要依赖于分类和描述任务，未能提供对MLLMs的全面评价。亟需更复杂的评估方法，以深入分析这些模型的空间理解和表达能力。为解决这些问题，我们引入了一个可扩展的三维基准，并配备了名为3DBench的大规模指令微调数据集，提供一个可扩展平台用于全面评估MLLMs。具体来说，我们建立了涵盖从对象级到场景级的广泛空间和语义尺度的基准，涵盖感知和规划任务。此外，我们提出了一套严谨的自动构建可扩展三维指令微调数据集的流程，涵盖10个多样的多模态任务，总共生成超过23万问答对。通过对流行MLLMs的全面实验、与现有数据集的比较及训练协议的变体，展示了3DBench的优越性，为当前的限制和未来的研究方向提供了宝贵见解。