Um Olhar Mais Atento sobre a Mistura de Especialistas em Grandes Modelos de Linguagem

Mistura de especialistas (MoE) está ganhando atenção crescente devido às suas propriedades únicas e desempenho notável, especialmente para tarefas de linguagem. Ao ativar esparsamente um subconjunto de parâmetros para cada token, a arquitetura MoE pode aumentar o tamanho do modelo sem sacrificar a eficiência computacional, alcançando um melhor equilíbrio entre desempenho e custos de treinamento. No entanto, o mecanismo subjacente do MoE ainda carece de maior exploração, e seu grau de modularização permanece questionável. Neste artigo, fazemos uma tentativa inicial de entender o funcionamento interno dos grandes modelos de linguagem baseados em MoE. Concretamente, estudamos de forma abrangente as características paramétricas e comportamentais de três modelos recentes baseados em MoE e revelamos algumas observações intrigantes, incluindo (1) Neurônios agem como especialistas de granularidade fina. (2) O roteador do MoE geralmente seleciona especialistas com normas de saída maiores. (3) A diversidade dos especialistas aumenta conforme a camada avança, enquanto a última camada é um outlier. Com base nas observações, também oferecemos sugestões para uma ampla gama de praticantes de MoE, como design de roteador e alocação de especialistas. Esperamos que este trabalho possa lançar luz em pesquisas futuras sobre a estrutura MoE e outras arquiteturas modulares. O código está disponível em https://github.com/kamanphoebe/Look-into-MoEs.