Una encuesta sobre la mezcla de expertos

Los modelos de lenguaje grande (LLMs) han logrado avances sin precedentes en diversos campos, desde el procesamiento del lenguaje natural hasta la visión por computadora y más allá. La destreza de los LLMs se basa en su tamaño sustancial de modelo, conjuntos de datos extensos y diversos, y la vasta potencia computacional empleada durante el entrenamiento, todo lo cual contribuye a las habilidades emergentes de los LLMs (p.ej., aprendizaje en contexto) que no están presentes en modelos pequeños. En este contexto, la mezcla de expertos (MoE) ha surgido como un método eficaz para aumentar considerablemente la capacidad del modelo con un costo computacional mínimo, ganando gran atención en la academia y la industria. A pesar de su creciente prevalencia, no existe una revisión sistemática y completa de la literatura sobre MoE. Esta encuesta busca cubrir esa laguna, sirviendo como un recurso esencial para investigadores que exploran las complejidades del MoE. Primero introducimos brevemente la estructura de la capa MoE, seguida de la propuesta de una nueva taxonomía de MoE. Luego, revisamos los diseños centrales para varios modelos MoE, incluyendo aspectos algorítmicos y sistémicos, junto con colecciones de implementaciones de código abierto disponibles, configuraciones de hiperparámetros y evaluaciones empíricas. Además, delineamos las aplicaciones multifacéticas de MoE en la práctica y esbozamos algunas direcciones potenciales para investigaciones futuras. Para facilitar actualizaciones continuas y compartir desarrollos vanguardistas en la investigación de MoE, hemos establecido un repositorio de recursos accesible en https://github.com/withinmiaov/A-Survey-on-Mixture-of-Experts.