2024年底了，有可以本地部署的文本AI了吗

talaon · 发表于 2024-10-14 14:47:47

只要文本，尽量智能些，最好能训练的语言模式，有没有开源能本地部署的了呀

现成的用起来感觉不便宜啊

lewissue · 发表于 2024-10-14 14:53:16

本帖最后由 lewissue 于 2024-10-14 14:56 编辑

恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
本地模型就像国产光刻机，没有它总是担心卡脖子，有它又不经济，制程还低（参数不多）。食之无味弃之可惜

不过本地模型经过恰当的微调，其（除逻辑之外的）性能不弱于大模型

tubos · 发表于 2024-10-14 14:51:59

一大把啊！llama3.1+阿里的Qwen
问题是你有能跑得动的显卡吗？

jqbaobao · 发表于 2024-10-14 15:09:52

一大把，但是毫无意义

talaon · 发表于 2024-10-14 15:21:39

好吧，那哪里有便宜点的chatGPT API 或中转

scheme · 发表于 2024-10-14 15:28:26

lewissue 发表于 2024-10-14 14:53
恰恰相反，本地模型不比现成的便宜。用qwen得租4090吧，4090一个小时2元，2元用gpt0806可以上百万的token
...

4070能跑么？还想要不要买个笔记本玩玩ai 呢

lewissue · 发表于 2024-10-14 15:33:52

本帖最后由 lewissue 于 2024-10-14 15:35 编辑

scheme 发表于 2024-10-14 15:28
4070能跑么？还想要不要买个笔记本玩玩ai 呢

移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cpu慢慢跑

Sage · 发表于 2024-10-14 15:35:36

本地跑成本不低的，除非大到一定规模

lewissue · 发表于 2024-10-14 15:36:36

talaon 发表于 2024-10-14 15:21
好吧，那哪里有便宜点的chatGPT API 或中转

用0806的话，最便宜的就是买azure5000，可以用好久。
想用0903需要买官方API，那个贵。

scheme · 发表于 2024-10-14 16:05:48

lewissue 发表于 2024-10-14 15:33
移动4070才8g显存，也就玩玩sdxl出图了。72b玩不了一点，1.5b说不定可以。。。还不如租个服务器用内存+cp ...

才8g?那算了，不浪费钱了。服务器cpu 都能跑个7b，就是卡的不行。多谢大佬

		自动登录	找回密码
密码			注册