今天教大家怎么进行本地部署。
大家跟着步骤一步步操作就行了。
一、配置模型承接端
我们先打开 Ollama 的官方网站(https://ollama.ai/),把Ollama给下载了
不会下载的可以打开网盘,找东西都打包在网盘里了
![图片[1]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208010918869-image.png)
下载安装完后设置一下大语言模型下载目录
在 Windows 上
打开“系统属性”:
– 右键点击“此电脑”或“我的电脑”,选择“属性”。
– 点击“高级系统设置”,然后点击“环境变量”。
在“用户变量”部分,点击“新建”:
– 变量名:OLLAMA_MODELS
– 变量值:E:\path\to\your\custom\directory(替换为你希望保存模型的目录路径)。
点击“确定”保存更改。
全部弄好之后重启一下电脑,再继续下一步操作
![图片[2]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208022356261-image-1024x451.png)
二、安装语言模型
然后点右上角的Models,找到deepseek-r1。选择适合你操作系统的安装包。
![图片[3]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208012839241-image-1024x511.png)
安装包有1.5b-671b的。模型越大,性能越好,对电脑配置的要求就越高。
这里主要看显存。
如果你没有插显卡,那就只能选1.5b的,(纯CPU推理,CPU最低要4核)
显存12GB以上的可以选 14b及以下的规格,一般来说7b够用了。再大容易超负荷
再往上就要看其它的配置了,可以自己上网查一下。
WIN键+R,输入dxdiag,可以查看自己的电脑配置。
![图片[4]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208020227919-image.png)
我这里拿7b的来做演示,把右边的代码复制下来。
![图片[5]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208020447147-image.png)
WIN键+R,输入powershell 可以打开终端,把这串代码复制进去按回车键运行,等待安装完成就可以了。
![图片[6]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208010344145-image-1024x457.png)
三、下载用户端
下载chat box
Chatbox 网 站:https://chatboxai.app/zh
![图片[7]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208031302200-image-1024x524.png)
安装完后,选择模型提供方OLLAMA,模型就是刚刚安装的deepseek-r1,最后保存就行了
![图片[8]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208031138700-image.png)
现在就可以正常使用了。
![图片[9]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208042934911-image.png)
现在来说说几个注意点
我们接过来的R1模型毕竟是蒸馏模型,算力当然是比不上官网的,不过个人使用是完全没问题的。
选的模型规格一定要匹配自身电脑配置,如果负载过高,那响应的速度会跟不上。
部分用户可能在终端下载不了模型,可以在魔塔社区(首页 · 魔搭社区)里直接进行下载,然后手动导入
![图片[10]-本地部署deepseek-r1教程-实干笔记](https://www.shiganbiji.cn/wp-content/uploads/2025/02/20250208043627515-image-1024x511.png)
网盘里有安装包,但版本更新很快,最好还是直接在官网下载
网盘链接: https://pan.baidu.com/s/1yxg-kf_rfssWOLvy6PkbCg?pwd=ft4e 提取码: ft4e
暂无评论内容