这两天相中macbook pro 48G内存那款了，不知道本地跑大模型辅助编程，效果怎么样？这款有人用过吗？
用llama跑个8B/30B的开源模型，写个不超过100行的代码，或者不超过3000字的聊天还是可以的。
再往上，不说是天差地别，至少不在一个重量级。当然你要是有什么神奇量化办法能能跑出120B参数的效果那就另论。
2 个赞
没有256GB跑本地模型只能搞点颜色，谈不上生产力
1 个赞
我用我的 16G M4 MBA 跑过 Gemma 4 E4B uncensored，连搞颜色都不够格，想象力极度匮乏。
1 个赞
原来如此，知难而退了。看来还得等
搞颜色去用 gemini/grok 就好了，基本没有任何有关颜色内容的 cersorship，输出内容人机味也没那么重。claude/gpt 的文字输出的人机味太重了，只适合用来干活。
1 个赞
差距太大了，现在我都感觉弄小模型似乎没太多意义。
1 个赞
目前消费级平台（48G 显存）能够部署最强模型大概是 Qwen3.6-27B（建议至少 FP8 量化），显存更少（例如 16G 显存）的情况下就只能使用能力更弱的量化版本或者 MoE 模型 Qwen3.6-35B-A3B。
以上述模型为例，本地模型的能力进步已经非常大了，用 OpenCode 调用这些本地模型时，至少工具调用还是比较稳定、基本不会失败的。但其总体能力仍然非常有限，可以让它帮你做一些读取类型的操作（比如分析某个项目的源码），但最好不要用它来做写入类型的操作（比如为某项目实现某个功能），它或许偶尔可以实现你的要求，但大多数情况下是令人失望的。
1 个赞
前段时间不是 nvidia 还是啥出了款硬件，200 多 g 内存，专门用来运行模型的，买什么 ma…
不过现在本地运行不推荐，除非有足够大的机房。时机未到
1 个赞
效果不怎么样。。。
48G 是不够的，跑一个 27B 的8-bit 本地模型，如果放128K的上下文窗口，应该是要奔100G内存去了。
我在本地用 qwen3.6 的 27B 4-bit ，32K的上下文，20G的显存非常勉强，而且 llama.cpp 还经常 crash
1 个赞
24G 统一内存能部署下的小模型里比较推荐用哪家的？（我在 LM Studio 里看到的有阿里的 Qwen、谷歌的 Gemma 还有一些我不太认识的模型）
gpt-oss 20b
如果是用于 AI Agent，推荐这个：
消费级硬件如果想榨干性能，还是需要比较精细地调整的，所以建议用 llama.cpp 而不是 LM Studio。
对于 24G 统一内存，以下是一份 llama.cpp 的配置（保存为 models.ini ，然后比如 llama-server --host 127.0.0.1 --port 11434 --models-preset models.ini 这样运行），在此基础上自己运行测试看看，调整一下就可以。
# https://github.com/ggml-org/llama.cpp/blob/master/docs/preset.md
[*]
models-max=1
sleep-idle-seconds=600
[qwen36]
no-mmproj=true
hf-repo=unsloth/Qwen3.6-27B-MTP-GGUF
hf-file=Qwen3.6-27B-UD-Q4_K_XL.gguf
temp=0.6
no-mmap=true
spec-default=true
# 2^18=262144
ctx-size=262144
gpu-layers=all
flash-attn=on
cache-type-k=q8_0
cache-type-v=q8_0
parallel=1
mlock=true
top-p=0.95
top-k=20
min-p=0.0
presence-penalty=0.0
batch-size=4096
ubatch-size=1024
spec-type=draft-mtp
spec-draft-n-max=2
spec-draft-p-min=0.75
jinja=true
等模型文件自动下载完并且加载完毕之后，你可以先用类似以下命令快速测试，之后再给 Agent 使用。
curl -X POST http://127.0.0.1:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen36",
"messages": [{"role":"user","content":"你好，请做个自我介绍。"}],
"max_tokens": 128
}'
一些要点：
- 吃统一内存的各种方面都很重要（包括与 AI 无关的其他进程），不要片面地追求更高的量化精度。
- 对于 AI Agent，上下文是很重要的，至少 100k 起步，推荐至少 200k；另外据说对齐 2 的整数幂会有轻微的性能加成，所以这里取 2^{18}=262144 。
- kv-cache 量化至少 q5 起步，推荐 q8，更高精度一般来说意义不大。
- token 输出速度一般来说 40 token/s 以上就比较有可用性了，我认为速度太快也不好，毕竟以目前 AI 的能力，在它工作的时候你最好还是要盯着它并及时纠偏的，跟不上它的速度就很难做到及时干预了。
- mtp 非常推荐启用（即这里的
spec-type=draft-mtp），对性能有优化。 UD-Q4_K_XL是我粗略估计可用的一个量化精度，如果实测下来内存还有比较充足的余量，可以考虑换更高量化精度（比如换成Q5_K_S），反之不太足就考虑换更低量化精度（比如换成Q4_K_M）。注意随着上下文的占用提升，在你的一个会话（session）中内存占用也是会逐步上升的，并且再次强调非 AI 相关的进程（比如编译）也会占内存，所以留一些余量是很重要的。
更新一下，上面给的量化精度可能还是过高了， 推荐从 IQ4_XS 开始尝试。
P.S. 如果只有 16G 显存，建议改用 Qwen3.6 35B A3B。
3 个赞
本地模型最大的好处就是有uncencor版本，可以不受限制。目标本地最强的就是qwen3.6 27b
审查不是加在模型内部的吗？训练的时候
可以通过微调去除的
mac全线涨价了吧 
是啊，相中那款涨了五千 
不过不是太刚需，影响不大
没有用本地模型写过代码。
但是推荐 qwen3.6:27b 用来做翻译和图像识别很棒。