AIGC宇宙 AIGC宇宙

一文读懂!DeepSeek超简易本地部署教程

作者:walkor
2025-02-11 09:29
概述DeepSeek-R1模型在各项指标直逼甚至超越OpenAI及同类产品,迅速成为业界焦点。 更令人惊喜的是该模型基于MIT协议免费开源,允许任何公司或个人自由商用,无需任何授权限制,一时间在AI界掀起了巨大波澜。 最近DeepSeek服务被外海攻击,有时候无法访问,既然DeepSeek-R1是开源的,那么我们其实可以部署自己的DeepSeek-R1模型,如果再结合Webman AI,效果将更加完美。

概述

DeepSeek-R1模型在各项指标直逼甚至超越OpenAI及同类产品,迅速成为业界焦点。更令人惊喜的是该模型基于MIT协议免费开源,允许任何公司或个人自由商用,无需任何授权限制,一时间在AI界掀起了巨大波澜。

最近DeepSeek服务被外海攻击,有时候无法访问,既然DeepSeek-R1是开源的,那么我们其实可以部署自己的DeepSeek-R1模型,如果再结合Webman AI,效果将更加完美。

废话不多说,直接上教程教怎么本地部署DeepSeek-R1服务。

前提

电脑有显卡,显卡越好效果越好

一、安装ollama

https://ollama.com/download

二、根据配置安装合适的版本

参考量

显存需求

显卡推荐

命令

1.5B

通常4GB左右

GTX 1050

ollama run deepseek-r1:1.5b

8B

一般8-10GB

GTX 1660

ollama run deepseek-r1:8b

14B

12GB以上,16GB以上运行流畅

RTX 3060

ollama run deepseek-r1:14b

32B

16GB以上,21GB以上运行流畅

RTX 3060

ollama run deepseek-r1:32b

70B

24GB以上,40GB以上运行流畅

RTX 3090、RTX 4090

ollama run deepseek-r1:70b

671B

1342GB

16张NVIDIA A100 80GB显卡

ollama run deepseek-r1:671b

图片图片

根据显存选择合适的版本,有条件的建议上32B或者70B,效果非常好。如果显存不够,并且使用了高版本,会自动使用CPU+显存的方式来运行,但是输出很慢,每秒1-2个字。

三、对话

图片图片

安装完之后就可以直接在命令行对话了。

以下内容为可选项

配合 Webman AI (可选)

如果你有Webman AI程序,则可以接入自己的deepseek-r1,提升用户体验的同时,使自己从中获取收益。

ollama 默认在命令行中对话,UI界面并不友好,如果配合 Webman AI 也可以有更好的交互体验。

假设你已经部署了Webman AI程序,通过以下步骤接入DeepSeek-R1。

进入到Webman AI 管理后台

新增模型

图片图片

设置对外模型名称

图片图片

新建角色

图片图片

测试

图片图片

相关标签:

相关资讯

OpenAI首席研究官:DeepSeek独立发现了o1的一些核心思路,奥特曼、LeCun纷纷置评

成本打下来了,需求更多才对? 春节这几天,国内外 AI 圈都被 DeepSeek 刷了屏。 英伟达的股市震荡更是让全世界看得目瞪口呆(参见《英伟达市值蒸发近 6000 亿美元,而 DeepSeek 刚刚又开源新模型》)。
1/29/2025 6:43:00 PM
机器之心

DeepSeek-R1详细解读!

DeepSeek-R1爆火,今天来详细看下。 论文地址::::现有LLMs在推理任务上的改进主要依赖监督微调(SFT)和后训练(Post-Training)方法,但这些方法需要大量人工标注数据且成本高昂。 OpenAI的o1系列模型虽通过扩展推理链(Chain-of-Thought, CoT)提升了性能,但其测试时扩展仍存在挑战。
2/19/2025 8:00:00 AM
GoldMa

“新神登场”,消息称 DeepSeek R2 模型有望 5 月前发布

据路透社报道,三位知情人士透露,DeepSeek 正在加速推出其 R2 人工智能模型,该公司最初计划在五月推出,但目前正在努力尽快推出。
2/25/2025 8:18:29 PM
归泷(实习)
  • 1