M3DLayout: Un conjunto de datos multi-fuente de disposiciones interiores 3D y descripciones estructuradas para generación 3D

En la generación de escenas 3D impulsada por texto, la disposición de objetos sirve como una representación intermedia crucial que conecta las instrucciones de lenguaje de alto nivel con un output geométrico detallado. No solo proporciona un plano estructural para asegurar la plausibilidad física, sino que también soporta control semántico y edición interactiva. Sin embargo, las capacidades de aprendizaje de los modelos actuales de generación de disposiciones interiores 3D están limitadas por la escala, diversidad y calidad de anotación escasas de los conjuntos de datos existentes. Para resolver esto, presentamos M3DLayout, un conjunto de datos multi-fuente a gran escala para generación de disposiciones interiores 3D. M3DLayout comprende 15,080 disposiciones y más de 258k instancias de objetos, integrando tres fuentes distintas: escaneos del mundo real, diseños CAD profesionales y escenas generadas proceduralmente. Cada disposición está emparejada con texto estructurado detallado que describe resúmenes globales de la escena, ubicaciones relacionales de muebles grandes y arreglos detallados de objetos pequeños. Este recurso diverso y ricamente anotado permite que los modelos aprendan patrones espaciales y semánticos complejos en una amplia variedad de ambientes interiores. Para evaluar el potencial de M3DLayout, establecemos un punto de referencia utilizando un modelo de difusión condicionado por texto. Los resultados experimentales demuestran que nuestro conjunto de datos proporciona una base sólida para entrenar modelos de generación de disposiciones. Su composición multi-fuente mejora la diversidad, notablemente a través del subconjunto Inf3DLayout que proporciona abundante información sobre objetos pequeños, permitiendo la generación de escenas más complejas y detalladas. Esperamos que M3DLayout sirva como un recurso valioso para avanzar en la investigación en síntesis de escenas 3D impulsada por texto.