有没有人试过本地大模型辅助编程？效果和在线比咋样，差距大吗？

闲聊灌水
1

这两天相中macbook pro 48G内存那款了，不知道本地跑大模型辅助编程，效果怎么样？这款有人用过吗？

2

用llama跑个8B/30B的开源模型，写个不超过100行的代码，或者不超过3000字的聊天还是可以的。

再往上，不说是天差地别，至少不在一个重量级。当然你要是有什么神奇量化办法能能跑出120B参数的效果那就另论。

1 个赞
3

没有256GB跑本地模型只能搞点颜色，谈不上生产力

4

我用我的 16G M4 MBA 跑过 Gemma 4 E4B uncensored，连搞颜色都不够格，想象力极度匮乏。

1 个赞
5

原来如此，知难而退了。看来还得等

6

搞颜色去用 gemini/grok 就好了，基本没有任何有关颜色内容的 cersorship，输出内容人机味也没那么重。claude/gpt 的文字输出的人机味太重了，只适合用来干活。

7

差距太大了，现在我都感觉弄小模型似乎没太多意义。