llama 3 的体验感觉不好 看全部

我体验了最近很火的llama 3的8b和70b的模型, 感觉并没有想象的好. 我感觉最好的还是c4ai-command-r-plus, 对指令的理解和完成的正确率都很好. llama 3对指令的理解还是不行.

大家认为呢?
点击重新加载
  • 推荐 julie
  • 2024-5-5 13:00:33
引用: hhxx 发表于 2024-5-5 12:46
R+的模型确实很不错,刚才去试了试!这两天好像还有个什么phi3,但是我还没来得及尝试 ...

phi3只有3.8b的参数, 只能作为简单的辅助, 不可能做太复杂的任务.
一个chatgpt我都玩不明白,这么多的吗?
我还是玩 Claude3 吧
点击重新加载
  • 4# julie
  • 2024-5-5 11:48:58
引用: Telegramr 发表于 2024-5-5 11:46
一个chatgpt我都玩不明白,这么多的吗?

chatgpt感觉越来越笨了. 很多问题也不愿意回答. 即使是gpt4也是这样. 还是自建的好. 有问必答, 也不用每月付钱了.
  • 5# hhxx
  • 2024-5-5 11:54:20
个人感觉llama指令服从还说得过去,但是让他输出中文的时候会有大量的中英混合问题而且貌似通过prompt很难调整,估计得通过中文微调解决了...不过8b模型用来跑翻译效果不错,又轻又快
点击重新加载
  • 6# julie
  • 2024-5-5 11:59:58
引用: hhxx 发表于 2024-5-5 11:54
个人感觉llama指令服从还说得过去,但是让他输出中文的时候会有大量的中英混合问题而且貌似通过prompt很难 ...

我感觉简单的指令还行, 但是稍微复杂一点的, 它就不行了, 会漏掉一些给的要求. 对于英文指令也是这样. 过几个月看看finetuning后的模型. 现阶段还是c4ai的好.
你试试千问110b,感觉很好就是太大了,本地基本不可能部署  https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo
  • 8# hhxx
  • 2024-5-5 12:46:17
引用: julie 发表于 2024-5-5 11:59
我感觉简单的指令还行, 但是稍微复杂一点的, 它就不行了, 会漏掉一些给的要求. 对于英文指令也是这样. 过 ...

R+的模型确实很不错,刚才去试了试!这两天好像还有个什么phi3,但是我还没来得及尝试
点击重新加载
  • 9# julie
  • 2024-5-5 12:58:38
引用: 梦想成真 发表于 2024-5-5 12:09
你试试千问110b,感觉很好就是太大了,本地基本不可能部署  https://huggingface.co/spaces/Qwen/Qwen1.5-11 ...

感觉好像还是差一点. 用英文问时, 有时会跳出中文字.