AIGC宇宙 AIGC宇宙

VLLM

DeepSeek推理引擎开源新路径，助力vLLM生态再升级

DeepSeek推理引擎开源新路径，助力vLLM生态再升级
最近，DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源，但并不会直接向公众开放完整的代码库。 相反，他们选择与现有的开源项目 vLLM 合作，致力于分享核心的优化成果。 这一举动旨在解决开源社区中普遍存在的代码库分歧、基础设施依赖及维护资源有限等难题。
4/16/2025 2:01:15 PM
AI在线
使用 VLLM 部署 DeepSeek：基于 Ubuntu 22.04 + RTX 4090 + Docker 的完整指南

使用 VLLM 部署 DeepSeek：基于 Ubuntu 22.04 + RTX 4090 + Docker 的完整指南
最近，大语言模型（LLM）的部署已经成为 AI 开发者绕不开的核心技能。 而 VLLM 作为一款高性能、低延迟的推理引擎，在大模型推理领域迅速崛起。 今天，我就带大家从零开始，在 Ubuntu 22.04 RTX 4090 Docker 环境下，部署 DeepSeek模型，并让它跑起来！
3/12/2025 12:37:50 PM
写代码的中年人
  • 1