在5090 32gb上部署了一个q4量化的qwen3.6 27b mtp，速度很快，90tok/s，但是编程效果很差。经常输出错误的tool use（？）或者修改无法应用。感觉干活至少得q8或者bf16。
用lmstudio部署的，没用vllm。32gb显存太小了，想要保证速度只能用q4的？（不是特别确定）
ps. 我跟领导提前说了不要买5090部署本地大模型，至少也得买pro 6000。领导非得说我不懂大模型，我错了。然后买了四张5090
1 个赞
Dee*See* 都在用 5090 跑大模型(和给他们供货的聊过几句知道的)，为什不要用，怕配置麻煩？
当时查了下，5090 不支持显存池化，单卡 32GB 塞不下满血 27B。更麻烦的是这四张卡还分散在独立机器上，只能走网卡通信；同时这个部署的环境也很麻烦，有很多阻力。
1 个赞
那这个确实，不能买完卡主机瞎配的。
我发现本地 LLM 有个使用技巧，就是让它多多调用 subagent。
这一点和在线 LLM 是完全不同的，因为 subagent 非常烧 token，并且像 DeepSeek V4 Pro 等前沿的在线 LLM 在上下文窗口的表现已经非常好了，并且可能细节越多表现越好（尤其是 dsv4pro）；本地 LLM 则完全不用担心烧 token，但却有较大的上下文压力，而 subagent 因为把各种不太重要的部分对上级 agent 隐藏了起来，可以减少上级agent的上下文中的“杂质”，从而显著提高其表现。
用贵的 LLM 做复杂项目也是一样的
再加一个经验：限制每次思考的长度
部分模型（例如本地模型 Qwen 3.6、在线 API DeepSeek V4）有时存在深度思考严重过度、“想得多做得少”的问题，不仅效率低，还无效占用大量上下文窗口，更可能导致陷入无限循环。为此，可限制每次思考的长度，实测下来可以大大减少由于过度思考导致任务失败的情况。
以 llama.cpp 为例，可加如下配置：
#防止过度思考
reasoning-budget=1024 # 此值可按需调整
reasoning-budget-message="... Reasoning budget exceeded, let's move on to the next thing."
这是在 API Server 一侧进行的配置；只要 API Server 支持，理论上也可在 Agent 一侧进行配置（参见 Dynamically adjusting `reasoning-budget` per chat prediction in llama.cpp server · ggml-org/llama.cpp · Discussion #21445 · GitHub ），更加灵活。