DeepSeek 最近很火啊,非常的出圈。作为开源模型,其优秀的品质给AI世界带来了不小的震撼,太多的流量涌入导致现在官网的服务总是不可用, ”服务器繁忙,请稍后再试。“的冰冷回应给人体验很糟。
因为是开源模型,所以任何人都可以下载模型进行二次训练开发,最近我在网上也看到许多付费部署 DeepSeek 模型的割韭菜广告,其实部署模型不难,难处在于硬件成本,个人想要部署满血的 DeepSeek R1是比较困难的,因为满血R1的模型参数高达 671B,光文件大小就有404G,运行需要的算力大约1300G+显存,显然这硬件成本是特别高的。
那么个人的算力可以部署哪些模型呢?这要看情况,对于没有卡的用户可以选择 DeepSeek R1 对应的 Qwen 和 Llama 蒸馏的小模型,本次部署的是7b的模型。
安装 Ollama
Ollama是一个用于在本地计算机上部署和运行大型语言模型(LLM)的开源工具。提供 macOS、Linux 和 Windows 版本,使用起来非常的方便。
deepseek 模型:https://ollama.com/library/deepseek-r1

安装后打开命令行窗口,输入 ollama run deepseek-r1:7b
进行模型下载,文件大小大概 4.7G。由于远程服务器在境外,所以最好自备梯子提升下载速度。
##各模型下载命令
# 5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b
# 7B Qwen DeepSeek R1
ollama run deepseek-r1:7b
# 8B Llama DeepSeek R1
ollama run deepseek-r1:8b
# 14B Qwen DeepSeek R1
ollama run deepseek-r1:14b
# 32B Qwen DeepSeek R1
ollama run deepseek-r1:32b
## 70B Llama DeepSeek R1
ollama run deepseek-r1:70b
## 满血版 672b
ollama run deepseek-r1:671b
下载完成后可以直接在命令窗口开始对话。

使用 WebUI
Page Assist - 本地 AI 模型的 Web UI 点击安装插件。
也可以使用集成的AI客户端Cherry Studio,提供 Windows/Mac/Linux 版本。
移动端:iOS 用户可以使用 ChatBox 。Android 可以使用 botgem 。
以Page Assist为例,在顶部选择本地模型,支持基础的联网功能,需要在底部打开开关。该插件也支持语音输入。

无审查版 DeepSeek R1
越狱版跟原版的区别是无审查无内容限制,部署方式和原版一样。越狱版DeepSeek R1现已托管在Hugging face上,支持7B、8B、14B、32B、70B
地址:https://huggingface.co/huihui-ai
新增: https://huggingface.co/perplexity-ai/r1-1776
由 perplexity.ai 开源,具体文章参考:https://www.perplexity.ai/hub/blog/open-sourcing-r1-1776
部署命令:
#7b
ollama run huihui_ai/deepseek-r1-abliterated:7b
#8b
ollama run huihui_ai/deepseek-r1-abliterated:8b
#14b
ollama run huihui_ai/deepseek-r1-abliterated:14b
#32b
ollama run huihui_ai/deepseek-r1-abliterated:32b
#70b
ollama run huihui_ai/deepseek-r1-abliterated:70b
部署 DeepSeek R1 满血版
DeepSeek R1满血版:https://huggingface.co/deepseek-ai/DeepSeek-R1
上面的都是量化版的小模型,真正的 DeepSeek R1满血版是未量化的 671B 的模型,对硬件的要求比较高,个人基本上是玩不来的。
满血版硬件最低要求:
- CPU:32核Intel Xeon或AMD EPYC
- 内存:512GB RAM
- GPU:4张 NVIDIA A100(至少80GB显存)
- 硬盘:2TB NVMe SSD
- 网络:10Gbps带宽
下载部署命令:
ollama run deepseek-r1:671b
如果本地硬件设备达不到要求,可以付费使用云GPU进行部署,最好使用 8张 A100 。
云端部署命令
#下载安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh
#下载部署模型
ollama create deepseek-r1-671b --model deepseek/deepseek-r1-671b
Ollama 命令
# 拉取模型
ollama pull 模型名称
# 启动模型
ollama run 模型名称
# 列出已存在的模型
ollama list
# 卸载删除模型
ollama rm 模型名称
REST API
Ollama还提供了REST API接口,可以通过HTTP请求与模型进行交互。这对于Web应用程序集成非常有用。
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:7b",
"prompt": "绝对禁止使用 markdown 输出"
}'
1