Java开发

DeepSeek-R1 本地部署指南

2025-02-07 80 0

简介 Ollama 助你轻松实现,支持2G显卡

在人工智能领域,大型语言模型(LLM)的应用越来越广泛,但许多用户希望能够在本地环境中部署和运行这些模型,以满足数据隐私、定制化需求或离线使用的场景。 DeepSeek-R1 是最近非常火爆的一个高性能的 AI 推理模型

,专注于数学、代码和自然语言推理任务。Ollama 是一个强大的工具,可以帮助用户在本地轻松部署和管理大型语言模型。

本文将详细介绍如何通过 Ollama 和 Open WebUI

在本地环境中部署 DeepSeek-R1 模型,并提供对 Ollama 和 DeepSeek-R1 的简要介绍,帮助用户快速上手

1. Ollama 简介

Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与 OpenAI

兼容的 API 接口,适合开发者

和企业快速搭建私有化 AI 服务。

官网:ollama.com/

Githubgithub.com/ollama/ollam

Ollama 的主要特点包括:

  • 轻量化部署:支持在本地设备上运行模型,无需依赖云端服务。

  • 多模型支持:兼容多种开源模型,如 LLaMA、DeepSeek 等。

  • 高效管理:提供命令行工具,方便用户下载、加载和切换模型。

  • 跨平台支持:支持 Windows、macOS

  • 和 Linux 系统。

2. DeepSeek-R1 简介

DeepSeek-R1 是由深度求索(DeepSeek)公司开发的高性能 AI 推理模型,专注于数学、代码和自然语言推理任务。其核心优势包括:

  • 强化学习驱动:通过强化学习技术显著提升推理能力,仅需少量标注数据即可高效训练。

  • 长链推理


  • (CoT):支持多步骤逻辑推理,能够逐步分解复杂问题并解决。

  • 模型蒸馏

  • :支持将推理能力迁移到更小型的模型中,适合资源有限的场景。

  • 开源生态:遵循 MIT 开源协议

    • ,允许用户自由使用、修改和商用。

    DeepSeek-R1 在多个基准测试

  • 中表现优异,性能对标 OpenAI 的 o1 正式版,同时具有更高的性价比。


3. 使用 Ollama 部署 DeepSeek-R1 的步骤

3.1 安装 Ollama

下载 Ollama

    • 访问 Ollama 官网,根据操作系统(Windows、macOS 或 Linux)下载安装包。

    • 对于 Windows 用户,下载 OllamaSetup.exe 并双击安装。

验证安装

    • 安装完成后,打开命令行工具,输入以下命令验证是否安装成功:
      ollama --version

    • 如果显示版本号,说明安装成功。

  • Ollama已经在第一时间支持DeepSeek-R1, 模型地址:deepseek-r1  。根据自己的显存选择对应的模型,2G显卡只能选1.5b的



下载模型

    • 使用以下命令下载 DeepSeek-R1 模型:
      ollama run deepseek-r1:1.5b

    • 或ollama run deepseek-r1:7b

    • 该命令会自动下载并加载模型,下载时间取决于网络速度和模型大小。

查看模型信息

  • 下载完成后,可以使用以下命令查看模型信息:
    ollama list

  • 该命令会列出本地已下载的模型及其状态。这是我笔记本上的本地模型

3.3 运行 DeepSeek-R1

启动模型

    • 使用以下命令启动 DeepSeek-R1 模型:
      ollama run deepseek-r1:1.5b

  • ollama run deepseek-r1:7b

    • 启动后,模型会进入交互模式,用户可以直接输入问题并获取回答。


模型名称
模型大小
显存
运行内存
deepseek-r1:1.5b
1.1GB
4GB
8GB
deepseek-r1:1.7b4.7GB
12GB
16GB
deepseek-r1:1.8b4.9GB
16GB
32GB
deepseek-r1:14b9GB
24GB
64GB
deepseek-r1:32b20GB
48GB
128GB
deepseek-r1:70b43GB
80GB
256GB
deepseek-r1:671b404GB
320GB
512GB


deepseek-r1模型下载完成后(提示success即是下载完成),

在CMD新窗口中输入命令ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型(后面做数据投喂会用到)。

温馨提示: 若是要删除模型,输入命令ollama rm+模型名称,如ollama rm deepseek-r1:1.7b

ollama create FYMES1.5 -f C:\BBN\Modelfile   根据MODEFILE进行创建新的模型

如果您想退出对话模式,只需输入“/bye”。


点赞 0

我的名片

网名:梦宇信息技术

职业:软件开发、Mes系统工程师

现居:福建省-福州市

QQ:703159

站点信息

  • 联系QQ:703159
  • 文章统计97篇文章
  • 标签总数6
  • 加我微信:扫码,加我微信