aider，论坛有
1 个赞
无法忍受本地 ollama， 特别慢，还烧 CPU，100%。大家有用过 ollama吗？还只是我的 PC 性能不行。 我没有独立GPU。
████████ ████████ ████████ OS: Manjaro 24.1.1 Xahea
████████ ████████ ████████ Kernel: x86_64 Linux 6.6.56-1-MANJARO
████████ ████████ ████████ Uptime: 11h 16m
████████ ████████ ████████ Packages: 6043
████████ ████████ ████████ Shell: fish 3.7.1
████████ ████████ ████████ Resolution: 2560x1440
████████ ████████ ████████ WM: XMonad
████████ ████████ ████████ GTK Theme: Adwaita [GTK3]
████████ ████████ ████████ Disk: 3.2T / 5.9T (56%)
████████ ████████ ████████ CPU: Intel Core i7-9700K @ 8x 4.9GHz [83.0°C]
████████ ████████ ████████ GPU: UHD Graphics 630
████████ ████████ ████████ RAM: 18093MiB / 64142MiB
llama3.1:8b
ollama run llama3.1:8b
这个最少要4060的8GB显存， 没有独立显卡， 性能不行的
2 个赞
我用的智谱ai
1 个赞
通义灵码要是能用在emacs上就好了。期待。
1 个赞
aichat，用 rust 写的基于命令行的 chat REPL。支持 RAG， 图片输入，输入 url 自动解析 html，可以自定义 function call，保存聊天历史。
支持市面上几乎所有llm模型，openai，claude，groq，fireworks，qwen啥的支持。
1 个赞
像 openai，claude，Gemini （付费版） 等最上游的模型提供商是承诺了不会拿 API 的数据去训练模型，当然可信度各人有各自的看法。
然后基于 llm 的 app，比如 cursor，明确说了，用户的数据还会上传自家的服务器做二次处理后再发送给最上游的模型提供方。
相关ai工具确实比较多 如果有个评测来比较各种工具的优缺点就好了 一个个试用实在没有精力
希望能集成最好的到emacs里来。最近各种AI编辑器插件什么的常常都为VScode开发
商业产品, 利润优先, 显然是没有可信度的， 在抓取用户数据这件事上， AI只会做得比传统方式更加隐蔽， 难以觉察， 而AI监管感觉上就是一纸空文， 我看了一下， 感觉确如某些文章分析的那样，实际是引导、鼓励、推动和促进大于监管
1 个赞
Qwen 2.5很强啊，可以媲美llama 3.1的最强开源模型。不过国外的大模型推理服务商里，速度特别快的 fireworks 和 groq 不支持 serverless 推理 qwen，只能部署专门的 dedicated 节点，这样就太贵了不值得。deepinfra 支持 qwen 的 serverless 推理，价格也很便宜，但是推理速度有点慢。
CRUD 的业务代码无所谓吧，这种代码随便拿去训，拿来训练 AI 都是降低模型的生成质量。
如果是核心的库或者算法代码，非常在意这个，那还是不要用云服务商了，自己在本地部署 llama 3.1 或者 qwen 2.5 使用吧。
纠结双十一升级一下电脑，弄点好的 nvida, 本地跑跑 ollama, 还是花点钱，买个 api key.
- AI 日新月异，一块 GPU 用三年，怕是顶不住 AI API 三年的天天升级。
- 想着，一般不是什么机密代码，用用 API 好些。
大佬你本地GPU 跑 llm 效果怎么样？估计你也是ollama 和 API 混合使用的吧？
另一个帖子在讨论 AI 工具了，本帖请管理员先关闭。
我们公司有一个硬件产品，明年会发布那个算力要比你买这个传统的芯片要大六倍吧
1 个赞
我现在如果是要分析很复杂的东西，还是用在线大模型，如果是要做一些本地翻译啊，或者说其他的一些重复工作，会用一些私有云的方案
你得用量化版本的模型，而且没 GPU, flash-attention2 都没法用
1 个赞
emacs 里用ellama 可以连 openai / claude / ollama