集显、docker本地部署deepseek大模型

q1028178000

bobbylong 发表于 2025-1-29 06:24
你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。 ...

那吃 内存？

bobbylong

q1028178000 发表于 2025-1-30 15:02
那吃 内存？

可吃可不吃，小内存也可以跑大参数，就是慢

ai海里打渔

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

有多省？你部署671b了？

grave_lyt

8g显卡可以跑跑14b参数，亲测效果还行，开启联网搜索的情况下可以帮上点忙
和完整版的智力当然无法相比

q1028178000

bobbylong 发表于 2025-1-31 10:48
可吃可不吃，小内存也可以跑大参数，就是慢

想知道你说的小内存是 768GB 内存以下吗？  我手里有几台128gb 的服务器。