https://mp.weixin.qq.com/s/FG2gEdgZwpMkA3ApQMksnw
本标题想法的来源
搞了半天是把token消耗从coding放到了数据转化（Anything2md）上……弄一堆链接把这些Markdown文件串成一个Graph。
用脚趾头想都知道随着后期文档越来越多，无论是新增内容还是维护使用，你不依赖Embedding/Indexing一定会面临海量的token消耗（按照Karpathy原文的说法即便是增量更新对于token的消耗最少是线性增长）。从性价比上来说Embedding Model的token价格只有LLM token价格的几分之一甚至更少。
而且纵观当年的Evernote到现在的Notion和Obsidian，问题从来不是知识库有多么结构化，而是本地文件分类和关联到最后一定会失效。因为越到后面无论是人还是LLM都会被困在自己创造出的系统里疲于奔命，要么是人得花精力去管理要么是舍得花Token让LLM去持续维护。
从低维护的角度来看，扁平无状态才是最好的管理方式。作为前Evernote用户和现Obsidian用户，我现在最常用的知识库一个是notebookLM，另一个是ima。前者把数据格式转换压榨到极致，source转音视频、转PPT、转脑图、转文档等功能一应俱全，后者真就是直接往里丢文件，用Chrome端插件采集网页内容，然后问问题即可。
我完全无法想象notebookLM这样的产品要是让我自己在本地维护那得多肉疼token消耗，也就是现在的谷歌套餐包含了才能毫无心理负担地去使用。而像ima这类的知识库目前最大的优势是多端同步，管理成本也很低，我基本上不去做细致分类，大类上分错了也不要紧，一共没几个知识库，全@ 上也很方便。当然你也可以质疑后者作为一个产品没什么壁垒，从我这个用户角度来说RAG还真就是很多笔记类软件的救星，要是GenAI时代来得早个五六年，我也许不会弃用Evernote。
1 个赞
如果不考虑价值和成本，只考虑实现的话，我在cursor有实现类似需求，主要就是两部分：
-
rule：定义org-mode语法、笔记库结构、输出要求等
-
skill。定义可复用的笔记操作 a. 提取原子笔记
b. 整理总结播客笔记，格式使用 org-media-note 的时间戳
其他的一次性探究问题直接开新chat聊就行，cursor会自动在笔记库中进行检索（grep+语义检索）作为context，更有针对性，减少幻觉
3 个赞
这篇公众号文章里的流程和ob有什么强关联吗？核心是md格式，ob用不用都无所谓。那同样作为纯文本，用org格式照样可以做啊，ai都能读懂org格式啊。
虽然我挺怀疑所谓的知识库，在ai世代还有多大意义。与其靠自己搜集知识，不如等ai发展。我认为在这个世代，要留存的是和你真正有关的，属于你的习惯、品味、经历等。在通用的知识方面，翻笔记不如直接问ai
4 个赞
或许在org-roam + gptel / gptel-agent上做些什么 也可能可以把AI这部分外包给某个针对这个领域的CLI
哈哈，我也這麼以為
自己記得那點東西其實根本不會再看第二遍:sweat_smile:
正好最近在研究用 llamaindex 搭个人知识库，结合自己的需求和感受说几点看法：
- 大语言模型时代很多“知识”没必要入库。看到个网页、报告有意思就存下来的习惯可能不再需要了，真正有用的知识应该放入自己手写消化的笔记中，那些文档就是参考文献，而不是知识。
- 很多“知识”没必要链接。用好 org-roam 的双链笔记就足够了，只放入自己认为需要链接的 node。事实上，这个需求没那么高，我用的更多的还是 find node 或 rg.
- 一篇文档里真正有价值的内容可能就是一句话，只要知识库能在需要时检索到，自己再去看原文，可能是更好的方式。让 LLM 去消化整个文档，恐怕关键信息会湮没掉。
- Karpathy 的架构最有价值的地方也是我一直希望能有的功能就是知识迭代。也就是把问答的内容总结为新的知识。
所以自己搭个人知识库还是打算：
- 文档切片 + 本地模型 embeding (不消耗 token) + 按文档目录结构注入主题、子主题 metadata.
- 用 LLM 问答，手工形成有效片段的摘录总结笔记，embedding + 注入更强 metadata 放入库中.
- 手写 org-roam 笔记，这是真正的知识库。与前述文档知识库独立。
不用太痴迷各种知识库管理(第二大脑)，稍微折腾一下就行了。重要的是第一大脑，也就是最后留在你头脑里的东西有多少，判断标准是 你能对着空气言说的，滔滔不绝的东西有多少，那个部分才是你自己的。
第二大脑是第一大脑的辅助。如果一个人用原始的读书笔记方法，就能快速地抓住重点，几周内就能出一份学术级调研报告，并对着空气滔滔不绝地讲着自己的认知所得，也就不需要什么最先进的知识库管理了。
从今天起开始调整精力分配，着重第一大脑的训练，比如记忆、言说、联想、链接。第二大脑慢慢调，不要紧的。因为资料一多，事情一复杂，到最后都是第一大脑不够用，第二大脑的资料信息过剩，所谓“吾生也有涯，而知也无涯”的困境。知识库管理的升级解决的是 去信息噪音，更结构化，更精准，更凝练的问题，解决不了第一大脑消化能力不足的问题。而次先进的知识库管理其实已经足够好，成熟少折腾，现在是第一大脑训练不足甚至有退化迹象的问题。
折腾半天知识库管理，最后要量化自己的成果，问问自己：我最近写了几篇还算过得去的文章，发表了几段还算有洞见的观点，我能对着空气滔滔不绝地说多久的话。
如果答案是否定的，赶紧修炼第一大脑吧，那才是你的核心，其他的都是狗屁！ 
我们学习的目的是将第一大脑锻炼到能快速 捕捉、思考、言说、输出，然后再搭配第二大脑这个好用工具，如虎添翼。重点是 我们要从猫变成虎，虎未变成，翅膀再精美，最终也飞不起来。缘木求鱼，买椟还珠。
第一大脑、第二大脑都要练，但以第一大脑为主，如果在Emacs旧有的知识管理方案(org-roam capture agenda)下，你还没产生一些有用的输出，那第一大脑的训练更是要紧迫起来了。我们有理由怀疑自己在第一大脑的训练上原地踏步。
15 个赞
感觉 gptel + vulpea 有戏，vulpea 可以认为是 org-roam 的 cli
1 个赞
ai：人类为什么又在抢我能做的事？
说到 agent, 这还真不一定是一个万全的办法，或者说，存在很多局限性。贴一段我在别的地方的发言：
以大规模的 ai 编码为例，如果说过去是集中于工厂的，机器大工业的生产击败了分散和独立的小作坊的生产，那么软件行业中日益增加的对人工智能的依赖，就是少数寡头主导的电力，数据，计算能力和技术工人的集中，正在征服普通企业的传统的手工的劳动。犹如资本主义使得农村从属于城市，世界边缘从属于中心，ai 的采用只会让原本分散和相对独立劳作的软件生产从属于受到少数人控制的数据中心。
或者大白话说，网络断了或者模型下线了，白嫖渠道没了，囊中羞涩了，这种依赖外部加工工具的笔记整理方式，就会罢工
毕竟现在 token 并不免费，可预见的未来也不会免费
agent 和人工智能是革命的，问题在于，它作为一种生产资料，在是否受到生产者/用户控制的问题上，还存在很大问题（是的，仍然可以自己运行模型，这种场景下不存在这一问题。但是我们会有多少人选择自己买机器运行模型？）
当然，这种思考方法似乎过于谨慎。毕竟现在我们的很多个人活动已经严重地依赖了外部资源或称他人的劳动，确实这是一种进步，是革命，而不是退步。因为它符合现代生产力发展的趋势。
或许真正的问题在于：
-
llm 能在多大程度上不限量地得到低成本的提供？
网络，电力和一台笔记本，emacs 是廉价的随处可得的，但 ai api 似乎不是这样。
-
llm 多大程度上保障个人隐私？
由于这些资源都掌握在资本家手里，我对此完全不乐观
当然，如果确信自己只用它处理非敏感材料，那么这一点是可以接受的（包括我）。
2 个赞
我觉得笔记麻烦的地方在于，想找某个信息的时候找不到。也许一个很简单的办法是，把这些org-mode笔记都放在某个目录下，然后告诉claude code或者codex cli这个目录，告诉它要找的东西，让它自己去找。
Andrej Karpathy (made ai for tesla cars, One of the founding members of OpenAi.)
figured out how to clone your brain. The setup takes an afternoon and improves itself every day.
Here’s how: Step 1: Collect everything. Every article you read, every paper, every repo, every note. Dump it all into a single folder. No organizing. No tagging. Just raw material.
Step 2: Point an LLM at that folder. It reads everything and “compiles” it into a living wiki. It writes articles about every concept it finds, creates links between related ideas, and builds a master index of everything you care about. You don’t write a single word. The AI is your full-time librarian.
Step 3: Ask it anything. The AI doesn’t start from scratch every time like ChatGPT normally does. It already has a map of the knowledge. And every question you ask makes the wiki smarter. Your curiosity literally compounds.
Step 4: The AI audits itself. It runs health checks across the entire wiki. Finds contradictions. Fills gaps. Suggests new questions you haven’t thought to ask yet. The knowledge base grows while you sleep. Karpathy’s version on a single research topic: 100 articles. 400,000 words. He typed none of it.
We’ve been imagining brain uploading as exotic neuroscience decades away. But a lossy, approximate version that captures what you know, how you think, what you obsess over? That’s possible today. Feed an LLM the full history of your thinking. Fine-tune it on your patterns. Now there’s an API endpoint that reasons like you and knows what you know.
Someone pointed out the most interesting implication: one day when you’re gone, your kids could inherit an interactive map of your entire mind. Every passion. Every fascination. Every rabbit hole you ever went down. A living conversation with the way you thought.
Decades of dreaming about brain uploads as science fiction and it turns out we just needed markdown files and an LLM that never forgets.
与其浪费GPU算力去整理笔记，不如直接用笔记训练模型。公众号里的思路太浪费了。在一个开源小模型的基础上微调参数可能效果更好。 对于多数人来说，RAG方案依然是最合适的吧。
我觉得核心不是笔记，而是让大模型产生笔记。反正大模型读材料做总结比较快。笔记就是精简的材料，材料精简了，之间产生联系的速度就会快。 不过llm产生的笔记深度估计不会很够。我用llm看论文就感觉只能总结出主要特点，基本上都是论文摘要、总结写得内容，而且也比较夸张，缺少批判性评估。