initialize 应该不会特别慢，它只是读 content 然后写入内存。你说把 gnu 拿掉快，问题应该是出在 refresh 上。比如说你如果每次对应的 contents 文件在关闭时都会删掉，那每次都要 refresh 拉一次就会读网络比较慢。或是你配置里显示调用了 refresh。
如果你不用 package 来管理包就不用这个，比如说自己把所有要的包下载到哪里然后手动加 load-path。或者用 nix 这种工具，把插件部分导进同一个目录内，这样只需要一个 load-path 就行了。