/ 技术 / 2966浏览

玩转AI——如何在本地部署 DeepSeek R1大模型(含无审查版)

文章目录
  • 安装 Ollama
  • 使用 WebUI
  • 无审查版 DeepSeek R1
  • 部署 DeepSeek R1 满血版
  • Ollama 命令
  • REST API
  • DeepSeek 最近很火啊,非常的出圈。作为开源模型,其优秀的品质给AI世界带来了不小的震撼,太多的流量涌入导致现在官网的服务总是不可用, ”服务器繁忙,请稍后再试。“的冰冷回应给人体验很糟。

    因为是开源模型,所以任何人都可以下载模型进行二次训练开发,最近我在网上也看到许多付费部署 DeepSeek 模型的割韭菜广告,其实部署模型不难,难处在于硬件成本,个人想要部署满血的 DeepSeek R1是比较困难的,因为满血R1的模型参数高达 671B,光文件大小就有404G,运行需要的算力大约1300G+显存,显然这硬件成本是特别高的。

    那么个人的算力可以部署哪些模型呢?这要看情况,对于没有卡的用户可以选择 DeepSeek R1 对应的 Qwen 和 Llama 蒸馏的小模型,本次部署的是7b的模型。

    安装 Ollama

    Ollama是一个用于在本地计算机上部署和运行大型语言模型(LLM)的开源工具。提供 macOS、Linux 和 Windows 版本,使用起来非常的方便。

    官网:https://ollama.com

    deepseek 模型:https://ollama.com/library/deepseek-r1

    安装后打开命令行窗口,输入 ollama run deepseek-r1:7b 进行模型下载,文件大小大概 4.7G。由于远程服务器在境外,所以最好自备梯子提升下载速度。

    ##各模型下载命令
    # 5B Qwen DeepSeek R1
    ollama run deepseek-r1:1.5b
    
    # 7B Qwen DeepSeek R1
    ollama run deepseek-r1:7b
    
    # 8B Llama DeepSeek R1
    ollama run deepseek-r1:8b
    
    # 14B Qwen DeepSeek R1
    ollama run deepseek-r1:14b
    
    # 32B Qwen DeepSeek R1
    ollama run deepseek-r1:32b
    
    ## 70B Llama DeepSeek R1
    ollama run deepseek-r1:70b
    
    ## 满血版 672b
    ollama run deepseek-r1:671b

    下载完成后可以直接在命令窗口开始对话。

    使用 WebUI

    Page Assist - 本地 AI 模型的 Web UI 点击安装插件。

    也可以使用集成的AI客户端Cherry Studio,提供 Windows/Mac/Linux 版本。

    项目地址:https://cherry-ai.com/

    移动端:iOS 用户可以使用 ChatBox 。Android 可以使用 botgem

    以Page Assist为例,在顶部选择本地模型,支持基础的联网功能,需要在底部打开开关。该插件也支持语音输入。

    无审查版 DeepSeek R1

    越狱版跟原版的区别是无审查无内容限制,部署方式和原版一样。越狱版DeepSeek R1现已托管在Hugging face上,支持7B、8B、14B、32B、70B

    地址:https://huggingface.co/huihui-ai

    新增: https://huggingface.co/perplexity-ai/r1-1776

    由 perplexity.ai 开源,具体文章参考:https://www.perplexity.ai/hub/blog/open-sourcing-r1-1776

    部署命令:

    #7b
    ollama run huihui_ai/deepseek-r1-abliterated:7b
    
    #8b
    ollama run huihui_ai/deepseek-r1-abliterated:8b
    
    #14b
    ollama run huihui_ai/deepseek-r1-abliterated:14b
    
    #32b
    ollama run huihui_ai/deepseek-r1-abliterated:32b
    
    #70b
    ollama run huihui_ai/deepseek-r1-abliterated:70b

    部署 DeepSeek R1 满血版

    DeepSeek R1满血版:https://huggingface.co/deepseek-ai/DeepSeek-R1

    上面的都是量化版的小模型,真正的 DeepSeek R1满血版是未量化的 671B 的模型,对硬件的要求比较高,个人基本上是玩不来的。

    满血版硬件最低要求:

    • CPU:32核Intel Xeon或AMD EPYC
    • 内存:512GB RAM
    • GPU:4张 NVIDIA A100(至少80GB显存)
    • 硬盘:2TB NVMe SSD
    • 网络:10Gbps带宽

    下载部署命令:

    ollama run deepseek-r1:671b

    如果本地硬件设备达不到要求,可以付费使用云GPU进行部署,最好使用 8张 A100 。

    云端部署命令

    #下载安装 Ollama
    curl -fsSL https://ollama.com/install.sh | sh
    #下载部署模型
    ollama create deepseek-r1-671b --model deepseek/deepseek-r1-671b

    Ollama 命令

    # 拉取模型
    ollama pull 模型名称
    # 启动模型
    ollama run 模型名称
    # 列出已存在的模型
    ollama list
    # 卸载删除模型
    ollama rm 模型名称

    REST API

    Ollama还提供了REST API接口,可以通过HTTP请求与模型进行交互。这对于Web应用程序集成非常有用。

    curl http://localhost:11434/api/generate -d '{
      "model": "deepseek-r1:7b",
      "prompt": "绝对禁止使用 markdown 输出"
    }'
    
    这里荒芜寸草不生 后来你来这走了一遭 奇迹般万物生长 这里是我的心

    1

    1. 木鱼

      🐮

    发表回复

    您的邮箱地址不会被公开。 必填项已用 * 标注