Incrustation Extensible : Un Multiplexeur Flexible pour la Longueur de Contexte des LLM

Les grands modèles de langage (LLM) nécessitent une extension du contexte pour gérer de nombreuses applications critiques. Cependant, les approches existantes sont coûteuses et produisent une qualité inférieure d'extension du contexte. Dans ce travail, nous proposons l'Incrustation Extensible, qui réalise une extension de haute qualité du contexte des LLM avec une grande flexibilité et un bon rapport coût-efficacité. L'incrustation extensible constitue une amélioration de l'incrustation typique des jetons, représentant l'information pour une portée extensible du contexte au lieu d'un seul jeton. En tirant parti de telles unités d'entrée compactes à plus haute densité d'information, le LLM peut accéder à une vaste portée de contexte même avec une petite fenêtre contextuelle. L'incrustation extensible est optimisée de manière systématique en architecture et méthode d'entraînement, ce qui conduit à plusieurs avantages. 1) Grande flexibilité d'extension du contexte, qui supporte de manière flexible l'extension ad hoc de diverses longueurs de contexte. 2) Forte efficacité d'échantillonnage à l'entraînement, permettant au modèle d'incrustation d'être appris de manière économique. 3) Compatibilité supérieure avec les LLM existants, où l'incrustation extensible peut être introduite de façon fluide en tant que composant plug-in. Des évaluations complètes sur des tâches de modélisation et de compréhension linguistique à long contexte confirment que l'incrustation extensible est une méthode efficace, efficiente, flexible et compatible pour étendre le contexte des LLM.