今天，我们正式推出了 Ring-mini-2.0，这是一款基于 Ling-mini-2.0架构深度优化的高性能推理型 MoE 模型。Ring-mini-2.0的总参数量达到16B，但在实际运行中仅需激活1.4B 参数，便能实现相当于10B 级别以下的密集模型的推理能力。
这款模型在逻辑推理、编程和数学任务中表现尤为出色，支持128K 的长上下文，使得其在各种应用场景中都能展现出强大的能力。此外，Ring-mini-2.0的生成速度也相当惊人，能够实现300+ token/s 的快速生成，经过优化后更是可以突破500+ token/s。
图源备注：图片由AI生成，图片授权服务商Midjourney
在推理能力的提升方面，Ring-mini-2.0在 Ling-mini-2.0-base 的基础上进行了更深层次的训练，通过 Long-COT SFT、大规模 RLVR 和 RLHF 的联合优化，显著增强了模型在复杂推理任务中的稳定性和泛化能力。我们在多个高难度基准测试中，发现其性能显著超越了10B 以下的密集模型，甚至可以与一些更大型的 MoE 模型相媲美，特别是在逻辑推理方面表现优异。
此外，Ring-mini-2.0在设计上注重高效性，通过1/32的专家激活比和 MTP 层架构优化，实现了约7-8B 密集模型的等效性能。这种高稀疏度和小激活设计，使得其在 H20环境下可以实现300+ token/s 的推理速度，同时结合 Expert Dual Streaming 的优化，进一步降低了推理成本。
为了促进学术与工业界的研究和应用，Ring-mini-2.0的模型权重、训练策略和数据配方将全面开源。我们期待这款 “小而优” 的模型能够成为小型推理模型的首选，并欢迎大家访问我们的开源仓库进行下载和使用。未来，在 Ling2.0架构的支持下，我们将继续推出更大、更快、更强的语言模型和全模态模型，敬请期待!
