好想知道X79的垃圾服务器能不能跑Llama3 70b-美国VPS综合讨论-全球主机交流论坛 - 手机版

自己试了一下llama3 8b的版本，居然7735hs的小主机也能跑起来，而且速度很快。
也试了一下llama3 70b的效果，感觉非常不错。
很想知道要是自己组装个x79的2000块破服务器，能不能跑起来。

不是吃显卡么

引用: huayixin 发表于 2024-4-25 15:32
不是吃显卡么

这玩意居然是靠cpu算的，我都惊呆了。

CPU 和显卡都可以，显卡效果好

cpu卡死人。用甲骨文arm试过

引用: skugov 发表于 2024-4-25 15:37
CPU 和显卡都可以，显卡效果好

显卡不会用，只会cpu

内存够就能跑。
双路X79,满8通道DDR3内存，胜在便宜，但远远比不上GDDR的速度。

x79可以一战

引用: lilyhcn1 发表于 2024-4-25 15:36
这玩意居然是靠cpu算的，我都惊呆了。

我看有人3060 12g 70B跑着很吃力，就放弃了本地测试的念头。

听你这么一说又有兴趣了，不知道手上的x99洋垃圾2666V3 64G能不能一试。

看过评测，cpu的确可以跑，但是效率很低，那个测试博主用家用游戏显卡跑问题，秒出结果，用CPU跑，一秒蹦2个字

[美国VPS] 好想知道X79的垃圾服务器能不能跑Llama3 70b 只看楼主