全球主机交流论坛

标题: 2024年底了，有可以本地部署的文本AI了吗 [打印本页]

作者: talaon 时间: 2024-10-14 14:47
标题: 2024年底了，有可以本地部署的文本AI了吗

只要文本，尽量智能些，最好能训练的语言模式，有没有开源能本地部署的了呀

现成的用起来感觉不便宜啊

作者: tubos 时间: 2024-10-14 14:51
一大把啊！llama3.1+阿里的Qwen
问题是你有能跑得动的显卡吗？

作者: lewissue 时间: 2024-10-14 14:53
本帖最后由 lewissue 于 2024-10-14 14:56 编辑

恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
本地模型就像国产光刻机，没有它总是担心卡脖子，有它又不经济，制程还低（参数不多）。食之无味弃之可惜

不过本地模型经过恰当的微调，其（除逻辑之外的）性能不弱于大模型

作者: jqbaobao 时间: 2024-10-14 15:09
一大把，但是毫无意义

作者: talaon 时间: 2024-10-14 15:21
好吧，那哪里有便宜点的chatGPT API 或中转

作者: scheme 时间: 2024-10-14 15:28

lewissue 发表于 2024-10-14 14:53
恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
...

4070能跑么？还想要不要买个笔记本玩玩ai 呢

作者: lewissue 时间: 2024-10-14 15:33
本帖最后由 lewissue 于 2024-10-14 15:35 编辑

scheme 发表于 2024-10-14 15:28
4070能跑么？还想要不要买个笔记本玩玩ai 呢

移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cpu慢慢跑

作者: Sage 时间: 2024-10-14 15:35
本地跑成本不低的，除非大到一定规模

作者: lewissue 时间: 2024-10-14 15:36

talaon 发表于 2024-10-14 15:21
好吧，那哪里有便宜点的chatGPT API 或中转

用0806的话，最便宜的就是买azure5000，可以用好久。
想用0903需要买官方API，那个贵。

作者: scheme 时间: 2024-10-14 16:05

lewissue 发表于 2024-10-14 15:33
移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cp ...

才8g?那算了，不浪费钱了。服务器cpu 都能跑个7b，就是卡的不行。多谢大佬

作者: rockstar 时间: 2024-10-14 16:24
要训练对配置要求就高了，随便玩玩可以用koboldcpp，参考https://www.thsink.com/notes/1359/

作者: Eureka 时间: 2024-10-14 16:42
1. 模型和显卡都用半精度推理，可以大幅提速，减少计算压力。

2. ollama 可以多卡推理，显存能合并。72b量化模型需要显存40G+，两张3090就不会爆显存。

3. 本地模型提问得越多，“记忆”就会越多，算力需求就会成倍增长，要考虑显卡计算能力，不能盲目追求大显存。

欢迎光临全球主机交流论坛 (https://52.ht/)