AIGC宇宙 AIGC宇宙

大模型效率狂飙：字节COMET技术开源，提速1.7倍

作者：AI在线
2025-03-10 05:59
字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型（MoE）架构的关键瓶颈，并开源一项名为COMET的重大优化技术。 该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。 图源备注:图片由AI生成，图片授权服务商Midjourney据介绍，COMET技术已在字节跳动的万卡集群训练中得到实际应用，累计节省了数百万GPU小时的训练算力。

字节跳动旗下豆包大模型团队近日宣布，成功攻克混合专家模型（MoE）架构的关键瓶颈，并开源一项名为COMET的重大优化技术。该技术显著提升了大模型的训练效率，实现了高达1.7倍的效率提升，并有效降低了40%的训练成本。

机器人阅读读书

图源备注:图片由AI生成，图片授权服务商Midjourney

据介绍，COMET技术已在字节跳动的万卡集群训练中得到实际应用，累计节省了数百万GPU小时的训练算力。与近期DeepSeek开源的DualPipe等MoE优化方案相比，COMET具有更强的兼容性和便捷性，能够像插件一样直接接入现有的MoE训练框架，支持业界主流大模型，无需对训练框架进行侵入式修改。

QQ20250310-180008.png

技术数据显示，引入COMET后，单个MoE层可实现1.96倍的加速，端到端平均效率提升1.71倍，且在不同并行策略、输入规模及硬件环境下均表现出稳定的性能。更值得关注的是，COMET还能够与DeepSeek的DualPipe方案联合使用，有望进一步大幅压缩模型训练成本。

这项技术的开源，无疑为大模型领域带来了新的突破，有望加速大模型的研发和应用。

论文地址:https://arxiv.org/pdf/2502.19811

开源地址:https://github.com/bytedance/flux?continueFlag=c1d74dd2912ab3909a1a27fe4f5cf519

相关标签：
Midjourney 豆包大模型 Comet 混合专家模型(MoE)

相关资讯

万卡集群真实部署，已节省数百万 GPU 小时！MoE 通信优化技术 COMET 开源

万卡集群真实部署，已节省数百万 GPU 小时！MoE 通信优化技术 COMET 开源
当前，MoE 架构是业界拓展模型规模的重要方向，然而，其在分布式训练中存在的大量通信开销，仍严重制约了训练效率和成本。 为攻克这一瓶颈，豆包大模型团队提出了一个全新的通信优化系统 COMET，通过更精准、细粒度的计算-通信重叠技术，在大规模 MoE 模型上可达到单层 1.96 倍加速，端到端平均 1.71 倍效率提升，且在不同并行策略、输入规模及硬件环境下均表现稳定。 目前，COMET 已实际应用于万卡级生产集群，助力 MoE 模型高效训练，并已累计节省了数百万 GPU 小时资源。
4/3/2025 12:00:00 AM
豆包大模型团队
豆包提出全新稀疏模型架构 UltraMem，推理成本较 MoE 最高可降 83%

豆包提出全新稀疏模型架构 UltraMem，推理成本较 MoE 最高可降 83%
实验结果表明，训练规模达 2000 万 value 的 UltraMem 模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模 value 或 expert 开辟了新路径。
2/12/2025 12:58:01 PM
清源
字节跳动豆包UltraMem架构将大模型推理成本降低83%

字节跳动豆包UltraMem架构将大模型推理成本降低83%
字节跳动豆包大模型团队今日宣布，成功研发出全新稀疏模型架构UltraMem，该架构有效解决了MoE（混合专家）模型推理时的高额访存问题，推理速度较MoE提升2-6倍，推理成本最高可降低83%。 这一突破性进展为大模型的高效推理开辟了新路径。 UltraMem架构在保证模型效果的前提下，成功解决了MoE架构推理时的访存瓶颈。
2/12/2025 2:04:00 PM
AI在线
  • 1
评论
顶部