mjj们本地跑deepseek,开源最大杯，你们跑起来了吗？

狗狗币 · 发表于 2025-2-12 22:56:57

需要投资多少机机啊？

DogeLee2 · 发表于 2025-2-12 23:02:10

6张h100,而且80G版本

狗狗币 · 发表于 2025-2-12 23:06:05

DogeLee2 发表于 2025-2-12 23:02
6张h100,而且80G版本

不是 4090 显卡也可吗？

xiaolaohu · 发表于 2025-2-12 23:07:19

4090带不动

狗狗币 · 发表于 2025-2-12 23:08:52

xiaolaohu 发表于 2025-2-12 23:07
4090带不动

https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html

狗狗币 · 发表于 2025-2-12 23:09:55

xiaolaohu 发表于 2025-2-12 23:07
4090带不动

不是本地部署万人使用，
就是个人使用， 4090 带不动？

xiaolaohu · 发表于 2025-2-12 23:14:37

狗狗币发表于 2025-2-12 23:09
不是本地部署万人使用，
就是个人使用， 4090 带不动？

可以试下应该能跑，体验好不好不好说

aceboy · 发表于 2025-2-12 23:15:40

大内存500G以上也可以，KTransformers开源项目

DogeLee2 · 发表于 2025-2-12 23:17:04

狗狗币发表于 2025-2-12 23:09
不是本地部署万人使用，
就是个人使用， 4090 带不动？

量化的啊
你仔细看下
你这不是要满血吗

dragonfsky · 发表于 2025-2-12 23:18:36

满血的最低都要700g左右显存吧

		自动登录	找回密码
密码			注册

mjj们 本地跑deepseek,开源最大杯， 你们跑起来了吗？