Java开发
DeepSeek-R1 本地部署指南
2025-02-07 80 0
简介 Ollama 助你轻松实现,支持2G显卡
在人工智能领域,大型语言模型(LLM)的应用越来越广泛,但许多用户希望能够在本地环境中部署和运行这些模型,以满足数据隐私、定制化需求或离线使用的场景。 DeepSeek-R1 是最近非常火爆的一个高性能的 AI 推理模型
,专注于数学、代码和自然语言推理任务。Ollama 是一个强大的工具,可以帮助用户在本地轻松部署和管理大型语言模型。
本文将详细介绍如何通过 Ollama 和 Open WebUI
在本地环境中部署 DeepSeek-R1 模型,并提供对 Ollama 和 DeepSeek-R1 的简要介绍,帮助用户快速上手
1. Ollama 简介
Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与 OpenAI
兼容的 API 接口,适合开发者
和企业快速搭建私有化 AI 服务。
Github:https://github.com/ollama/ollama
Ollama 的主要特点包括:
轻量化部署:支持在本地设备上运行模型,无需依赖云端服务。
多模型支持:兼容多种开源模型,如 LLaMA、DeepSeek 等。
高效管理:提供命令行工具,方便用户下载、加载和切换模型。
跨平台支持:支持 Windows、macOS
和 Linux 系统。
2. DeepSeek-R1 简介
DeepSeek-R1 是由深度求索(DeepSeek)公司开发的高性能 AI 推理模型,专注于数学、代码和自然语言推理任务。其核心优势包括:
强化学习驱动:通过强化学习技术显著提升推理能力,仅需少量标注数据即可高效训练。
(CoT):支持多步骤逻辑推理,能够逐步分解复杂问题并解决。
:支持将推理能力迁移到更小型的模型中,适合资源有限的场景。
开源生态:遵循 MIT 开源协议
,允许用户自由使用、修改和商用。
中表现优异,性能对标 OpenAI 的 o1 正式版,同时具有更高的性价比。
DeepSeek-R1 在多个基准测试
3. 使用 Ollama 部署 DeepSeek-R1 的步骤
3.1 安装 Ollama
下载 Ollama
访问 Ollama 官网,根据操作系统(Windows、macOS 或 Linux)下载安装包。
对于 Windows 用户,下载
OllamaSetup.exe
并双击安装。
验证安装
安装完成后,打开命令行工具,输入以下命令验证是否安装成功:
ollama --version如果显示版本号,说明安装成功。
Ollama已经在第一时间支持DeepSeek-R1, 模型地址:deepseek-r1 。根据自己的显存选择对应的模型,2G显卡只能选1.5b的
下载模型
使用以下命令下载 DeepSeek-R1 模型:
ollama run deepseek-r1:1.5b或ollama run deepseek-r1:7b
该命令会自动下载并加载模型,下载时间取决于网络速度和模型大小。
查看模型信息
下载完成后,可以使用以下命令查看模型信息:
ollama list该命令会列出本地已下载的模型及其状态。这是我笔记本上的本地模型
3.3 运行 DeepSeek-R1
启动模型
使用以下命令启动 DeepSeek-R1 模型:
ollama run deepseek-r1:1.5bollama run deepseek-r1:7b
启动后,模型会进入交互模式,用户可以直接输入问题并获取回答。
模型名称 | 模型大小 | 显存 | 运行内存 |
deepseek-r1:1.5b | 1.1GB | 4GB | 8GB |
deepseek-r1:1.7b | 4.7GB | 12GB | 16GB |
deepseek-r1:1.8b | 4.9GB | 16GB | 32GB |
deepseek-r1:14b | 9GB | 24GB | 64GB |
deepseek-r1:32b | 20GB | 48GB | 128GB |
deepseek-r1:70b | 43GB | 80GB | 256GB |
deepseek-r1:671b | 404GB | 320GB | 512GB |
deepseek-r1模型下载完成后(提示success即是下载完成),
在CMD新窗口中输入命令ollama pull nomic-embed-text回车下载nomic-embed-text嵌入式模型(后面做数据投喂会用到)。
温馨提示: 若是要删除模型,输入命令ollama rm+模型名称,如ollama rm deepseek-r1:1.7b
ollama create FYMES1.5 -f C:\BBN\Modelfile 根据MODEFILE进行创建新的模型
如果您想退出对话模式,只需输入“/bye”。