3DBench: Un punto de referencia 3D escalable y conjunto de datos para ajuste por instrucciones

Evaluar el rendimiento de los Modelos de Lenguaje Grande Multimodales (MLLMs), que integran tanto nubes de puntos como lenguaje, presenta desafíos significativos. La falta de una evaluación integral dificulta determinar si estos modelos realmente representan avances, lo que a su vez impide un progreso adicional en el campo. Las evaluaciones actuales dependen en gran medida de tareas de clasificación y subtitulado, sin proporcionar una valoración completa de los MLLMs. Existe una necesidad apremiante de un método de evaluación más sofisticado, capaz de analizar a fondo la comprensión espacial y las capacidades expresivas de estos modelos. Para abordar estos problemas, presentamos un punto de referencia 3D escalable, acompañado de un conjunto de datos de ajuste por instrucciones a gran escala denominado 3DBench, que ofrece una plataforma extensible para una evaluación exhaustiva de los MLLMs. Específicamente, establecemos un punto de referencia que abarca una amplia gama de escalas espaciales y semánticas, desde el nivel de objeto hasta el nivel de escena, abordando tanto tareas de percepción como de planificación. Además, presentamos una metodología rigurosa para la construcción automática de conjuntos de datos escalables de ajuste por instrucciones 3D, cubriendo 10 tareas multimodales diversas con más de 0.23 millones de pares pregunta-respuesta generados en total. Experimentos exhaustivos evaluando modelos MLLMs actuales, comparaciones con conjuntos de datos existentes y variaciones en los protocolos de entrenamiento demuestran la superioridad de 3DBench, ofreciendo valiosas perspectivas sobre las limitaciones actuales y posibles direcciones de investigación.