AIGC宇宙 AIGC宇宙

Colossal-AI

DeepSeek V3+R1满血微调工具上线！一键启动，硬件要求降10倍

DeepSeek V3+R1满血微调工具上线！一键启动，硬件要求降10倍
DeepSeek V3/ R1 火爆全网，基于原始模型的解决方案和 API 服务已随处可见，陷入低价和免费内卷。 如何站在巨人肩膀上，通过后训练（post-training）结合专业领域数据，低成本打造高质量私有模型，提升业务竞争力与价值？ 已收获近 4 万 GitHub Star 的 Colossal-AI，发布开源大模型后训练工具箱，包含：DeepSeek V3/ R1 满血 671B LoRA 低成本 SFT 微调；完整的强化学习工具链 PPO，GRPO，DPO，SimPO 等；无缝适配 DeepSeek 系列蒸馏模型在内的 HuggingFace 开源模型；兼容支持英伟达 GPU、华为昇腾 NPU 等多种硬件；支持混合精度训练，gradient checkpoint 等训练加速降低成本；灵活的训练配置接口，支持自定义奖励函数、损失函数等；提供灵活的并行策略配置接口，包括数据并行、模型并行、专家并行、ZeRO 和 Offload 等，以适应不同硬件规模。
2/19/2025 11:56:00 AM
机器之心
  • 1