深入探讨大型语言模型中的专家混合（Mixture-of-Experts）

专家混合（MoE）因其独特的特性和卓越的表现，尤其在语言任务中，正受到越来越多的关注。通过对每个标记稀疏地激活部分参数，MoE架构能够在不牺牲计算效率的前提下增加模型规模，实现性能与训练成本之间更优的平衡。然而，MoE的内在机制仍缺乏深入探索，其模块化程度亦存在疑问。本文初步尝试理解基于MoE的大型语言模型的内部工作机制。具体地，我们全面研究了三种最新MoE模型的参数和行为特征，并揭示了一些有趣的观察结果，包括（1）神经元表现出细粒度专家的作用；（2）MoE的路由器通常选择输出范数较大的专家；（3）专家的多样性随着层数增加而提升，但最后一层是一个例外。基于这些观察，我们还为广大MoE实践者提供了建议，例如路由器设计和专家分配。我们希望本研究能为未来关于MoE框架及其他模块化架构的研究带来启示。代码可在https://github.com/kamanphoebe/Look-into-MoEs获得。