图片
最近DeepSeek服务被外海攻击,有时候无法访问,既然DeepSeek-R1是开源的,那么我们其实可以部署自己的DeepSeek-R1模型,如果再结合Webman AI,效果将更加完美。

概述

DeepSeek-R1模型在各项指标直逼甚至超越OpenAI及同类产品,迅速成为业界焦点。更令人惊喜的是该模型基于MIT协议免费开源,允许任何公司或个人自由商用,无需任何授权限制,一时间在AI界掀起了巨大波澜。

最近DeepSeek服务被外海攻击,有时候无法访问,既然DeepSeek-R1是开源的,那么我们其实可以部署自己的DeepSeek-R1模型,如果再结合Webman AI,效果将更加完美。

废话不多说,直接上教程教怎么本地部署DeepSeek-R1服务。

前提

电脑有显卡,显卡越好效果越好

一、安装ollama

https://ollama.com/download

二、根据配置安装合适的版本

参考量 显存需求 显卡推荐 命令
1.5B 通常4GB左右 GTX 1050 ollama run deepseek-r1:1.5b
8B 一般8-10GB GTX 1660 ollama run deepseek-r1:8b
14B 12GB以上,16GB以上运行流畅 RTX 3060 ollama run deepseek-r1:14b
32B 16GB以上,21GB以上运行流畅 RTX 3060 ollama run deepseek-r1:32b
70B 24GB以上,40GB以上运行流畅 RTX 3090、RTX 4090 ollama run deepseek-r1:70b
671B 1342GB 16张NVIDIA A100 80GB显卡 ollama run deepseek-r1:671b

图片图片

根据显存选择合适的版本,有条件的建议上32B或者70B,效果非常好。如果显存不够,并且使用了高版本,会自动使用CPU+显存的方式来运行,但是输出很慢,每秒1-2个字。

三、对话

图片图片

安装完之后就可以直接在命令行对话了。

以下内容为可选项

配合 Webman AI (可选)

如果你有Webman AI程序,则可以接入自己的deepseek-r1,提升用户体验的同时,使自己从中获取收益。

ollama 默认在命令行中对话,UI界面并不友好,如果配合 Webman AI 也可以有更好的交互体验。

假设你已经部署了Webman AI程序,通过以下步骤接入DeepSeek-R1。

进入到Webman AI 管理后台

新增模型

图片图片

设置对外模型名称

图片图片

新建角色

图片图片

测试

 

图片图片

文章来自:51CTO

Loading

作者 yinhua

发表回复