LocMoE+：具备令牌特征感知的增强路由器，实现高效的大型语言模型预训练

专家混合（MoE）架构由于其显著降低训练和推理开销的能力，近年来在大型语言模型（LLMs）领域中越来越受关注。然而，MoE架构面临诸多挑战，如分配给各专家的令牌数量存在显著差异，以及专家之间易趋同化，削弱了模型的语义生成能力。本文提出了LocMoE+，这是低开销LocMoE的改进版本，包含以下增强措施：（1）量化并定义专家与令牌之间的亲和度。（2）实施全局自适应路由策略，根据亲和度评分重新排列令牌。（3）重新估计专家容量的下限，结果表明该下限会随着令牌特征分布的演变而逐渐降低。实验结果表明，在不影响模型收敛或效果的前提下，每个专家处理的令牌数可减少超过60%。结合通信优化，训练效率平均提升5.4%至46.6%。微调后，LocMoE+在GDAD、C-Eval和TeleQnA数据集上表现提升9.7%至14.1%。