MoNDE：大型稀疏模型中的近数据专家混合

专家混合（MoE）大型语言模型（LLM）的内存需求通常超过GPU内存容量，导致需要昂贵的参数从辅助存储移动到GPU以进行专家计算。在本工作中，我们提出了近数据专家混合（MoNDE），这是一种近数据计算解决方案，有效支持MoE LLM的推理。MoNDE通过仅将活跃专家传输到GPU，而在主机内存设备中计算其余的冷专家，减少了MoE参数移动的体积。通过用小的激活数据替代大规模专家参数的传输，MoNDE实现了更加高效的MoE推理通信，从而在编码器和解码器操作中相较于现有参数卸载框架带来显著加速。