Descubriendo los límites de los modelos visual-lingüísticos en la representación del conocimiento en ingeniería

RESUMEN: Los modelos Visual-Lenguaje (VL) ofrecen potencial para avanzar en el Diseño de Ingeniería (ED) integrando texto e imágenes de documentos técnicos. Revisamos las aplicaciones de VL en las fases de ED, destacando tres desafíos clave: (i) comprender cómo la información funcional y estructural se expresa de forma complementaria mediante texto e imágenes, (ii) crear conjuntos de datos multimodales a gran escala para diseño y (iii) mejorar la capacidad de los modelos VL para representar el conocimiento en ED. Se desarrolló un conjunto de datos con 1.5 millones de pares texto-imagen y un conjunto de evaluación para recuperación de información cruzada utilizando patentes. Mediante ajuste fino y pruebas del modelo base CLIP en estos conjuntos, identificamos limitaciones significativas en la capacidad de los modelos VL para captar detalles técnicos de alta precisión necesarios en tareas de ED. Con base en estos hallazgos, proponemos direcciones futuras de investigación para avanzar en los modelos VL para aplicaciones de ED.