Awesome-Mixture-of-Experts-Papers开源项目快速上手4大MoE框架选型指南【免费下载链接】Awesome-Mixture-of-Experts-PapersA curated reading list of research in Mixture-of-Experts(MoE).项目地址: https://gitcode.com/gh_mirrors/aw/Awesome-Mixture-of-Experts-PapersMoE框架选型是很多大模型开发者的必修课。Awesome-Mixture-of-Experts-Papers 是一个精心整理的混合专家模型Mixture-of-Experts简称 MoE论文阅读清单项目它系统收录了近几年的 MoE 算法、系统与应用论文还在文末贴心地列出了 4 大主流开源框架Tutel、DeepSpeed-MoE、FastMoE 与 HetuMoE。无论你是刚接触 MoE 的新手还是正在为生产环境做 MoE 框架选型这份开源清单都能帮你快速建立全局视野。什么是 MoE混合专家模型入门必读在开始选型之前先花 1 分钟搞清楚 MoE 是什么。混合专家模型的核心思想很直观与其让一个巨大的网络处理所有输入不如准备一组专家网络Experts再由一个轻量的路由器Gate/Router按需分配任务。 这样做的好处有两个稀疏激活每个输入只激活少数专家计算量大幅下降但参数量可以做到万亿级灵活扩展增加专家数量即可扩展模型容量训练成本可控。这套思路催生了 Switch Transformers、GLaM 等里程碑工作也是 GPT-4、Mixtral 等大模型背后的关键技术之一。想系统了解这条技术路线这份论文清单就是最好的起点。项目亮点一份可以按图索骥的 MoE 论文阅读清单整个项目只有一个核心文件README.md但信息密度极高目录结构清晰分为四大板块板块收录内容覆盖年份Algorithm算法路由策略、稀疏训练、缩放定律等2017、2019、2021、2022System系统分布式训练与推理系统2021、2022Application应用推荐系统、多任务学习等落地场景2018、2020、2021、2022Open-Source System开源框架4 大可直接上手的 MoE 框架—每条论文都标注了完整作者列表与会议/期刊信息如 ICLR、NeurIPS、ACL方便你按影响力筛选精读。对新手来说建议先看 Algorithm 板块的经典论文建立概念再结合 System 板块选择训练框架。4 大 MoE 开源框架选型对比这是本文的核心部分。项目在 Open-Source System 板块收录了 4 个极具代表性的开源框架下面这份 MoE 框架对比表可以帮你快速定位框架开发方核心定位一句话亮点Tutel微软亚洲研究院MSRA大规模 DNN 训练自适应并行与高效 MoE 实现DeepSpeed-MoE微软Microsoft训练 推理全流程与 DeepSpeed 生态无缝集成FastMoE清华大学高性能训练系统易用灵活上手门槛低HetuMoE北京大学万亿级分布式训练面向超大规模参数扩展Tutel 框架微软亚洲研究院的高效 MoE 训练方案Tutel 的定位是大规模 DNN 模型训练的高效 MoE 实现论文标题直译为《Tutel: Adaptive Mixture-of-Experts at Scale》。它的核心优势在于自适应并行策略——能够根据集群规模和模型结构自动调整专家并行、数据并行方式让训练资源利用率最大化。如果你需要训练超大稀疏模型且团队有一定分布式经验Tutel 值得优先评估。DeepSpeed-MoE 框架训练与推理一体的全能型选手DeepSpeed-MoE 出自微软 DeepSpeed 团队论文题为《Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale》。它最大的卖点是与 DeepSpeed 生态深度集成你可以在同一套工具链里完成混合并行训练、模型压缩与高效推理省去多框架拼接的麻烦。对于已经在使用 DeepSpeed 的团队DeepSpeed-MoE 几乎是零学习成本的自然延伸。FastMoE 框架清华团队打造的高性能 MoE 训练系统FastMoE 来自清华大学论文题为《FastMoE: A Fast Mixture-of-Expert Training System》。它主打快速 易用基于主流深度学习框架做轻量扩展把 MoE 层封装成可直接替换的组件普通开发者也能快速在自己的模型里接入专家机制。如果你还在 MoE 框架选型的探索阶段、想先做实验验证效果FastMoE 的低门槛特性非常友好。HetuMoE 框架面向万亿参数规模的分布式训练系统HetuMoE 来自北京大学 DAIR 团队论文题为《HetuMoE: An Efficient Trillion-scale Mixture-of-Expert Distributed Training System》。顾名思义它面向的是万亿级参数的极致规模场景在异构集群调度、通信优化等方面做了大量针对性设计。当你的模型规模突破单机甚至单集群的常规上限时HetuMoE 提供的分布式方案值得深入研究。MoE 框架选型建议不同场景怎么选看完成对比表很多新手会问到底该选哪个这里给出 3 条实操建议验证阶段选 FastMoE快速把 MoE 跑起来验证稀疏激活对效果的影响成本最低生产部署选 DeepSpeed-MoE训练、压缩、推理一条龙工程链路最完整适合对稳定性要求高的业务超大规模训练看 Tutel 与 HetuMoE参数量进入千亿、万亿级别后二者的并行优化与分布式调度能力是关键差异点。论文精读路线从入门到进阶配合框架选型建议按下面的顺序阅读论文理解背后的设计动机入门必读2017 年的《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》这是 MoE 复兴的奠基之作里程碑论文《Switch Transformers》展示如何用简单高效的方式扩展到万亿参数《GShard》解决大规模条件计算的自动分片问题系统论文《DeepSpeed-MoE》《FasterMoE》等系统论文能让你理解训练框架的工程难点反过来指导框架选型应用论文MMoE、PLE 等推荐系统方向的工作展示了 MoE 在工业界的成熟落地形态。新手快速上手3 步走完第一遍Star 仓库并克隆到本地随时跟进最新动态git clone https://gitcode.com/gh_mirrors/aw/Awesome-Mixture-of-Experts-Papers按板块浏览README.md先通读 Algorithm 板块 2017—2021 的经典论文标题建立时间线选定一个框架推荐从 FastMoE 或 DeepSpeed-MoE 入手对照 System 板块论文跑通一个最小训练示例。如何参与贡献项目欢迎社区共建发现遗漏的论文、修正信息错误、补充新的开源框架都可以直接提交 Pull Request。对新手来说参与贡献也是快速融入 MoE 社区、检验自己理解程度的好方式。总结Awesome-Mixture-of-Experts-Papers 用一份精炼的阅读清单串起了 MoE 从算法、系统到应用的全貌并直接给出了 4 大开源框架的选型入口。无论你的目标是了解混合专家模型技术全貌还是为项目落地做 MoE 框架选型这份清单都能让你少走弯路。收藏它然后从第一篇论文开始吧【免费下载链接】Awesome-Mixture-of-Experts-PapersA curated reading list of research in Mixture-of-Experts(MoE).项目地址: https://gitcode.com/gh_mirrors/aw/Awesome-Mixture-of-Experts-Papers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
