BGE Landmark Embedding : une méthode d'intégration sans segmentation pour les modèles de langage large à contexte étendu avec récupération augmentée

Les grands modèles de langage (LLMs) nécessitent une extension du contexte pour traiter de nombreuses applications critiques. Cependant, les approches existantes entraînent des coûts élevés et une qualité inférieure pour l'extension du contexte. Dans ce travail, nous proposons Extensible Embedding, qui réalise une extension de haute qualité du contexte des LLM avec une grande flexibilité et un bon rapport coût-efficacité. L'Extensible Embedding constitue une amélioration de l'intégration typique des tokens, représentant l'information pour un périmètre extensible de contexte au lieu d'un seul token. En tirant parti de telles unités d'entrée compactes à densité d'information plus élevée, le LLM peut accéder à un vaste périmètre de contexte même avec une petite fenêtre de contexte. L'Extensible Embedding est optimisé de manière systématique dans l'architecture et la méthode d'entraînement, ce qui conduit à plusieurs avantages : 1) Grande flexibilité d'extension du contexte, supportant de manière flexible l'extension ad hoc de longueurs de contexte diverses. 2) Forte efficacité d'échantillonnage de l'entraînement, permettant un apprentissage du modèle d'intégration de manière économique. 3) Compatibilité supérieure avec les LLM existants, où l'Extensible Embedding peut être introduit de manière transparente comme un composant plug-in. Des évaluations complètes sur les tâches de modélisation et de compréhension à contexte long confirment l'Extensible Embedding comme une méthode efficace, efficiente, flexible et compatible pour étendre le contexte des LLM.