全球主机交流论坛

标题: 拿vps跑deepseek r1 [打印本页]

作者: DogeLee2 时间: 2025-1-29 17:24
标题: 拿vps跑deepseek r1

前言

前排提示

llama很吃性能的，别拿你的生产力的小鸡跑
建议内存大点的鸡上跑

1 docker安装openwebui+ollama

https://github.com/open-webui/open-webui
For CPU Only: If you're not using a GPU, use this command instead:
[pre]

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

复制代码

[/pre]

2 访问及设置

① 访问

ip:3000端口打开即可，有条件的话nginx反代下

② 设置用户名密码邮箱

③ 切换语言

点击右上角头像下面的settings-general，选择中文，save保存

④ 添加模型

左上角选择一个模型的话可以输入你想要的模型，

我们选择7b的，输入 deepseek-r1:7b,从ollama拉取

下载deepseek的7b模型，小鸡的性能跑个7b还是可以的
如果没法跑的话，可以跑1.5b的 deepseek-r1:1.5b

其他的模型的话这边
https://ollama.com/library/deepseek-r1

3 闲言碎语

本人用签名探针上的家里云。配置为5600+32G内存跑的

占用的话大概cpu在50%左右，内存吃到10G
我的cpu的话跑分gb5单核1675多，多核8934，你可以参考下自己跑着玩

7.5b的效果其实不怎么样，你们跑了就知道了

其实还不如自己直接调用api来的合适

跑api的话可以参考我这个帖子

https://qklg.net/post/20250127/

有条件上显卡跑，而且显存至少16G的，这种纯cpu跑的是玩具
隔壁老哥拿12400跑72b的https://linux.do/t/topic/397701/20
半小时才能回答一次，隔壁老哥cpu当一回时代先锋

作者: totti5116 时间: 2025-1-29 17:27
1.5g 内存能跑吗

作者: jhsyue 时间: 2025-1-29 17:30
api那么便宜，真不如直接用api了啊

作者: 美国总统奥巴马 时间: 2025-1-29 17:31
绑定

作者: yjx79802 时间: 2025-1-29 17:32

totti5116 发表于 2025-1-29 17:27
1.5g 内存能跑吗

有个1.5b的模型，大小1.1G，估计1.5G十分勉强能够用，

不如API。10块钱没有高需求按照现在的价格能对话一年了。。

作者: DogeLee2 时间: 2025-1-29 17:32

jhsyue 发表于 2025-1-29 17:30
api那么便宜，真不如直接用api了啊

主要是拿来当玩具用

作者: DogeLee2 时间: 2025-1-29 17:33

totti5116 发表于 2025-1-29 17:27
1.5g 内存能跑吗

1.5b也许可以
但是效果真不行，调用api完事了

作者: 人穷器短 时间: 2025-1-29 17:33
api价格之下，除非有定制能力和需求，或者学习和玩，脑瘫才自建

作者: DogeLee2 时间: 2025-1-29 17:38

人穷器短发表于 2025-1-29 17:33
api价格之下，除非有定制能力和需求，或者学习和玩，脑瘫才自建

是的
我赞同你
这其实就是个玩具

作者: toot 时间: 2025-1-29 17:42
牛逼啊。开搞

还有更厉害的模型吗，100刀独服左右能带得动那种

作者: louiejordan 时间: 2025-1-29 17:44

jhsyue 发表于 2025-1-29 17:30
api那么便宜，真不如直接用api了啊

他家API页面到现在还没恢复

作者: DogeLee2 时间: 2025-1-29 17:55

toot 发表于 2025-1-29 17:42
牛逼啊。开搞

还有更厉害的模型吗，100刀独服左右能带得动那种

你cpu再厉害也跑不过显卡的
只能说是玩具
还是拿显卡跑

作者: cherbim 时间: 2025-1-29 17:56
不建议折腾，没显卡跑这玩意，一个问题，可能几分钟才能生成答案

作者: toot 时间: 2025-1-29 17:58

DogeLee2 发表于 2025-1-29 17:55
你cpu再厉害也跑不过显卡的
只能说是玩具
还是拿显卡跑

hetzner家应该有显卡吧

作者: phigros 时间: 2025-1-29 18:00

louiejordan 发表于 2025-1-29 17:44
他家API页面到现在还没恢复

话说，他家api到底多便宜啊，我没那个概念，能打个比方吗？

作者: DogeLee2 时间: 2025-1-29 18:03

cherbim 发表于 2025-1-29 17:56
不建议折腾，没显卡跑这玩意，一个问题，可能几分钟才能生成答案

是的
7b还是很快的
32b我5600都直卡死了
所以我后面写了玩具一个
不如api，显卡跑

作者: DogeLee2 时间: 2025-1-29 18:04

toot 发表于 2025-1-29 17:58
hetzner家应该有显卡吧

服务器一般除非专门的显卡服务器
不然没显卡的啊，除非你家用平台的服务器

看了下hz的是有的，但是核显，还不如1060的核显，llama的核显也难搞
真不建议跑，老实拿显卡跑，或者玩api
这个最多当玩具用

作者: DogeLee2 时间: 2025-1-29 18:05

phigros 发表于 2025-1-29 18:00
话说，他家api到底多便宜啊，我没那个概念，能打个比方吗？

100万token只要一毛钱
对比下openai的你就知道多便宜了

作者: adminn 时间: 2025-1-29 18:08
折腾啊~~~

作者: phigros 时间: 2025-1-29 18:20

DogeLee2 发表于 2025-1-29 18:05
100万token只要一毛钱
对比下openai的你就知道多便宜了

哦，但我看他还有个：
v3的百万tokens输出价格：2元

这个啥意思啊，还得加上输出价格嘛？
假如api调用了v3的100万token，他也输出了100万token的信息，那就是2.1元？

作者: yjx79802 时间: 2025-1-29 21:04

phigros 发表于 2025-1-29 18:20
哦，但我看他还有个：
v3的百万tokens输出价格：2元

https://api-docs.deepseek.com/zh-cn/quick_start/pricing

这个页面有说明，输入价格是你发的消息和参数，输出是返回的结果，这两个单独计算的。

比openai的便宜很多，上面那个比3.5还便宜呢，而且比3.5强很多

作者: jessegold 时间: 2025-1-29 23:05
牛逼，必须支持一下。

作者: Kanna 时间: 2025-1-29 23:07
这个deepseek-r1:7b是r1精调的通义千问，依然是个麻瓜

全量671b的r1有400g

作者: DogeLee2 时间: 2025-1-29 23:59

Kanna 发表于 2025-1-29 23:07
这个deepseek-r1:7b是r1精调的通义千问，依然是个麻瓜
全量671b的r1有400g

玩具而已

作者: Yzindex 时间: 2025-1-30 02:35

35W+4G的笔记本3050能跑不？

作者: q1028178000 时间: 2025-1-30 09:57
貌似api一直提示在维护

作者: DogeLee2 时间: 2025-1-30 12:50

q1028178000 发表于 2025-1-30 09:57
貌似api一直提示在维护

至少两三天了

作者: q1028178000 时间: 2025-1-30 14:56

DogeLee2 发表于 2025-1-30 12:50
至少两三天了

这情况本机自建或者杜甫自建好使么？

作者: q1028178000 时间: 2025-1-30 15:00
我手里还有一台杜甫 Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10GHz * 2

2个物理CPU，32个物理核心，64个逻辑核心
10T硬盘够跑不？

作者: DogeLee2 时间: 2025-1-30 15:18

q1028178000 发表于 2025-1-30 15:00
我手里还有一台杜甫 Intel(R) Xeon(R) CPU E5-2683 v4 @ 2.10GHz * 2

2个物理CPU，32个物理核心，64个逻辑 ...

最多就7b
再往上你试试看

效果很垃圾的

作者: root123 时间: 2025-1-30 15:37

作者: q1028178000 时间: 2025-1-30 15:52

DogeLee2 发表于 2025-1-30 15:18
最多就7b
再往上你试试看

用这款机子呢？Intel Xeon Gold 6138。20核40线程 768g内存硬盘16T

作者: ciao 时间: 2025-1-30 15:55
自己部署的话，敏感问题会回答吗

作者: DogeLee2 时间: 2025-1-30 15:59

q1028178000 发表于 2025-1-30 15:52
用这款机子呢？Intel Xeon Gold 6138。20核40线程 768g内存硬盘16T

用显卡跑啊
cpu就不适合干这些的啊

作者: DogeLee2 时间: 2025-1-30 16:00

ciao 发表于 2025-1-30 15:55
自己部署的话，敏感问题会回答吗

我和你说不会回答的
但是有去除审查的办法
你自己搜下

当然本地部署的效果很差
这就是个玩具

作者: q1028178000 时间: 2025-1-30 16:01

DogeLee2 发表于 2025-1-30 15:59
用显卡跑啊
cpu就不适合干这些的啊

我去看看GPU的服务器多少钱一个月

作者: DogeLee2 时间: 2025-1-30 16:07

q1028178000 发表于 2025-1-30 16:01
我去看看GPU的服务器多少钱一个月

我的建议还是api or 网页版用用完事了

作者: q1028178000 时间: 2025-1-30 17:04

DogeLee2 发表于 2025-1-30 16:07
我的建议还是api or 网页版用用完事了

API 一直提示在维护。。国内IP 能用API ？

作者: DogeLee2 时间: 2025-1-30 17:08

q1028178000 发表于 2025-1-30 17:04
API 一直提示在维护。。国内IP 能用API ？

废话
这中国公司啊
在杭州

服务器是上海华为云
https://www.itdog.cn/ping/api.deepseek.com

作者: q1028178000 时间: 2025-1-30 17:11

DogeLee2 发表于 2025-1-30 17:08
废话
这中国公司啊
在杭州

原来是屏蔽了国外IP.原来如此。

作者: q1028178000 时间: 2025-1-30 19:46

DogeLee2 发表于 2025-1-30 17:08
废话
这中国公司啊
在杭州

你打开 platform.deepseek.com不是503 ？

作者: q1028178000 时间: 2025-1-30 21:50

DogeLee2 发表于 2025-1-30 17:08
废话
这中国公司啊
在杭州

是申请API的地址关闭了。。这个倒是能正常打开

作者: vcred 时间: 6 天前
7B的不行，
回答中总是中文中夹杂英文。
体量太小。
大公司部署的也用了，
没有一个达到官方网站的体验。

欢迎光临全球主机交流论坛 (https://52.ht/)