全球主机交流论坛

标题: 现在自己部署deepseek是不是配置要求比LLAMA低了很多 [打印本页]

作者: netAlchemist 时间: 4 天前
标题: 现在自己部署deepseek是不是配置要求比LLAMA低了很多
有没有折腾过的大神说说自己配置和体验

作者: === 时间: 4 天前
插眼

作者: eastcukt 时间: 4 天前
配置主要看你要部署的模型参数。

作者: redneck 时间: 4 天前

作者: netAlchemist 时间: 4 天前

redneck 发表于 2025-1-27 19:02

这个有意思啊 4个MAC MINI也不是很贵一般公司负担的起

作者: httpd 时间: 4 天前
是不是參雜許多特色內容

作者: pykane 时间: 4 天前
参数越大，需要的显卡要求越高，内存也很。
我之前本老的IMAC 电脑上跑过 lama2 7B 最小的，提交个筒单的处理，要几分钟。
DS 正在打算试试。应配制要底一些。

作者: terryxu 时间: 4 天前
可以试试用 LM studio 部署 deepseek 7b的模型

作者: magneticfield 时间: 4 天前
1.5B的可以在手机上跑

作者: 无神通 时间: 4 天前
低很多，原版只需要 800G 内存，Q4 量化版本只需要 400G 内存

作者: fۣۖ༒ۣfۣۖ 时间: 4 天前
吃显存啊
大模型得24G显卡

作者: zhai 时间: 4 天前
我的电脑能上32B版本

作者: 何处不惹尘埃 时间: 4 天前
吃显卡吧, 不太懂

----------------------------------------------------------------

小尾巴~~~~~

作者: julie 时间: 4 天前
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为deepseek r1是MoE结构, 我估计拿CPU跑都不慢的. 以前我用老的服务器只用CPU跑也是MoE的WizardLM-2-8x22B, 一秒钟也有2, 3个token.

你要是有1T的内存, 可以试试用纯CPU跑.

作者: 水冰月 时间: 4 天前

julie 发表于 2025-1-27 22:09
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为d ...

纯cpu慢吗
还是没有区别。

作者: karson 时间: 3 天前
https://github.com/deepseek-ai/DeepSeek-V3/issues/241

请问我要运行推理，需要什么显卡配置

”DeepSeek-V3 采用 FP8 训练，并开源了原生 FP8 权重。“
参数量按700B算的话，大约就是700GB显存。

作者: 水冰月 时间: 前天 00:38

julie 发表于 2025-1-27 22:09
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为d ...

有128内存，x99的机器，可以纯cpu跑吗

作者: louiejordan 时间: 前天 00:41

julie 发表于 2025-1-27 22:09
要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为d ...

用显卡跑有什么要求？

作者: 艾比 时间: 前天 01:55
M3 Macbook Air有没有推荐的版本部署

作者: julie 时间: 前天 11:11

水冰月发表于 2025-1-29 00:38
有128内存，x99的机器，可以纯cpu跑吗

128G内存是跑不了deepseek r1的, 要大一点的内存才行. 即使能跑, 低的量化模型对生成质量有很大的影响, 生成结果可能很不好.

128G内存可以跑100G以内的量化模型, 就是速度会很慢. 因为r1模型是MoE架构的, 每次生成只依赖37B的参数, 所以会快. 如果是32B的千问, 速度还马马虎虎. 如果是70B的llama模型, 生成的会慢得多, 几乎受不了的.

作者: julie 时间: 前天 11:18

louiejordan 发表于 2025-1-29 00:41
用显卡跑有什么要求？

只用显卡, 个人应该负担不起跑r1的成本, 要几百G的显存. 跑蒸馏的版本至少要2-3个3090/4090才能跑量化. 或者买192GB的mac studio, 几万块就行, 跑得比4090慢, 但是速度可以接受, 比CPU跑快很多.

作者: louiejordan 时间: 前天 11:49

julie 发表于 2025-1-29 11:18
只用显卡, 个人应该负担不起跑r1的成本, 要几百G的显存. 跑蒸馏的版本至少要2-3个3090/4090才能跑量化. ...

好吧，我还以为一张普通显卡就行了

作者: 美国VPS综合讨论 时间: 前天 12:12
部署的可以完全不连外网吗

作者: cbm 时间: 前天 12:23
为啥要自己部署，官网不是免费

作者: ultramancliub 时间: 前天 13:42

美国VPS综合讨论发表于 2025-1-29 12:12
部署的可以完全不连外网吗

不连外网它会胡乱回答，不联网实际用下来体验很差。

作者: wop 时间: 前天 18:25

ultramancliub 发表于 2025-1-29 13:42
不连外网它会胡乱回答，不联网实际用下来体验很差。

自己部署的也支持联网吗

作者: ultramancliub 时间: 前天 23:08

wop 发表于 2025-1-29 18:25
自己部署的也支持联网吗

支持，但实际体验下来并不好。投机零做做脑筋急转弯或者文字游戏数学题可以，但是真正需要发挥它号称的强处的经济政治历史哲学等等资料全部空白。本地部署和官网WEB版可以看成两个产品。。。只是官方版本多一个强大的数据库。所以严格来说它并不算是完整开源。

作者: wop 时间: 昨天 18:57

ultramancliub 发表于 2025-1-29 23:08
支持，但实际体验下来并不好。投机零做做脑筋急转弯或者文字游戏数学题可以，但是真正需要发挥它号称的强 ...

360 部署的R1 也体验很差

欢迎光临全球主机交流论坛 (https://52.ht/)