集显、docker本地部署deepseek大模型

q1028178000 · 发表于 2025-1-30 15:02:15

bobbylong 发表于 2025-1-29 06:24
你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。 ...

那吃内存？

bobbylong · 发表于 7 天前

q1028178000 发表于 2025-1-30 15:02
那吃内存？

可吃可不吃，小内存也可以跑大参数，就是慢

ai海里打渔 · 发表于 7 天前

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

有多省？你部署671b了？

grave_lyt · 发表于 7 天前

8g显卡可以跑跑14b参数，亲测效果还行，开启联网搜索的情况下可以帮上点忙
和完整版的智力当然无法相比

q1028178000 · 发表于 7 天前

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

想知道你说的小内存是 768GB 内存以下吗？我手里有几台128gb 的服务器。

		自动登录	找回密码
密码			注册