Expansión de Vocabulario para la Transferencia Cruzada Multilingüe en Recursos Limitados

Los grandes modelos de lenguaje (LLMs) han demostrado capacidades notables en muchos idiomas más allá del inglés. Sin embargo, los LLMs requieren más pasos de inferencia al generar texto en idiomas distintos al inglés debido a su dependencia de tokenizadores, vocabulario y datos de preentrenamiento centrados en el inglés, lo que resulta en costos de uso más altos para los hablantes no anglófonos. La expansión de vocabulario con tokens del idioma objetivo es un enfoque ampliamente utilizado para la adaptación cruzada del vocabulario que remedia este problema. A pesar de su efectividad en la aceleración de la inferencia, la mayoría de trabajos previos se han centrado en contextos con abundantes recursos, asumiendo acceso a una cantidad sustancial de datos en el idioma objetivo para inicializar eficazmente las incrustaciones de los nuevos tokens y adaptar el LLM al idioma meta. Sin embargo, la expansión de vocabulario para LLMs en contextos de recursos limitados (es decir, idiomas y computación) aún no se ha explorado. En este artículo, investigamos estrategias de adaptación eficientes en muestras desde diferentes ángulos, incluyendo el tamaño del vocabulario objetivo y métodos de inicialización, así como la cantidad de datos objetivo disponibles para la adaptación. Amplios experimentos en idiomas tipológicamente diversos, tareas y modelos muestran que una inicialización de incrustaciones basada en heurísticas simples es más eficiente y robusta frente a cambios en el tamaño del vocabulario objetivo y datos de adaptación en escenarios de recursos limitados, superando una inicialización aleatoria popular y un método más sofisticado de última generación que depende de datos externos y modelo.