Incrustación BGE Landmark: Un Método de Incrustación Sin Segmentación Para Modelos de Lenguaje Grandes con Contexto Largo Aumentado para Recuperación

Los modelos de lenguaje grande (LLMs) requieren la extensión del contexto para manejar muchas aplicaciones críticas. Sin embargo, los enfoques existentes suelen implicar costos elevados y calidad inferior en la extensión del contexto. En este trabajo, proponemos Extensible Embedding, que permite una extensión de alta calidad del contexto del LLM con gran flexibilidad y rentabilidad. La incrustación extensible es una mejora de la típica incrustación de tokens, representando la información para un alcance extensible del contexto en lugar de un solo token. Al aprovechar estas unidades de entrada compactas con mayor densidad de información, el LLM puede acceder a un amplio ámbito de contexto incluso con una ventana de contexto pequeña. La incrustación extensible está optimizada sistemáticamente en arquitectura y método de entrenamiento, lo que conduce a múltiples ventajas: 1) Alta flexibilidad en la extensión del contexto, que soporta de manera flexible extensiones ad-hoc de diversas longitudes de contexto. 2) Fuerte eficiencia muestral en el entrenamiento, que permite que el modelo de incrustación se aprenda de manera rentable. 3) Superior compatibilidad con los LLMs existentes, donde la incrustación extensible puede introducirse sin problemas como un componente plug-in. Evaluaciones completas en tareas de modelado y comprensión de lenguaje con contexto largo verifican que la incrustación extensible es un método efectivo, eficiente, flexible y compatible para extender el contexto del LLM.