我也一直在探索这个问题的答案，跟楼主不谋而合了。我大概写了几百篇笔记，管理的时候还是一定会做一些归类+标签，但只是为了对结构有大概的把握。诚如楼主所言，实际上 “一篇文章既属于A，又属于B” 的情况经常发生。日常使用，统计下来我最常使用的应该就是全局搜索。
关于技术笔记的要点，我觉得陶哲轩总结的四点相当精确：
- It makes the argument permanently available to you in the future, and may eventually be helpful in your later research papers, lecture notes, teaching, or research proposals. （它可以让你以后永远都可以随时提取，帮助你写论文，课程笔记，教书和写标书）
- It gives you practice in mathematical writing, both at the technical level (e.g. in learning how to use TeX) and at an expository or pedagogical level. （它能帮你训练自己的数学写作能力，使用tex／latex的能力，达到一个专业的水准）
- It tests whether you have really understood the argument on more than just a superficial level.（它能测试你是否真的懂了这个方法，而不是自以为懂了）
- It frees up mental space; you no longer have to remember the exact details of the argument, and so can devote your memory to learning newer topics. （它释放了你的脑内存，你不需要记住那些冗长的细节，并且可以用你的脑子去学更多更新的东西）
我尤其认同第四点，所以写笔记很多都不精简，记录知识难点不怕用车轱辘话多描述一些，因为今天的释放的目的是为了方便日后快速捡起。我也试过只写一两页精简cheatsheet，但经常看着曾经写的只言片语，完全想不起来上下文，辛苦整理的纸片子相当于作废了。所以我技术笔记至少会清楚的记录，问题怎么来的，用过什么办法解决，为什么有这些公式（代码），已经足够好还是留用观察等等。数学笔记更是要把思维推导的过程记述下来，多一些因为，所以的记述，少一些易证，可知这样模棱两可的东西。
初加工，尤其是数学笔记我还是很依赖Onenote, 全局搜索+图片文字搜索确实很方便，例如在书里看到有用的东西，截个图划两笔，或是ipad手写公式，往Onenote里一扔，日后能和文本一样被全局搜索。加上语音输入加持，不考虑文学性的话写起来飞快。二加工我才用Emacs，方便发博客，写slides，写paper，写Anki，helm-ag全局搜索，都是喜滋滋。
二更：Anki-editor好像经常出我搞不定的问题，所以我把公式/概念/流程等非文字的东西都直接截图放在Anki里，总的来说不花时间hack工具好像使用还更有效率了。