[Discussion] Speed up lsp-mode by using faster json parsing tools

cireu · 2019 年3 月 2 日 02:03

[Discussion] json dynamic module

opened 07:45PM - 28 Feb 19 UTC

closed 01:03PM - 22 Feb 20 UTC

discussion

The performance bottleneck of `lsp-mode` is json parsing(50%+ of the time) and w…e already have a solution for Emacs 27+ via new native parsing. This PR is for tracking the discussion about solving this problem for emacs 25-26 with writing emacs dynamic module - https://www.gnu.org/software/emacs/manual/html_node/elisp/Dynamic-Modules.html . We have some code in https://github.com/sebastiencs/emacs-json (see https://github.com/sebastiencs/emacs-json/issues/1 ) @innerout volunteered to work on a such module In C/C++(and eventually RUST?) but we need a general agreement for the approach from the team members and the active contributors. Also, I was thinking about creating a JSONRPC dynamic module which will do the message handling in separate thread(not blocking the Emacs UI thread) and then post the messages to Emacs. (not sure whether this is possible or whether it might cause Elisp GC failures) (cc @MaskRay @sebastiencs @innerout @vibhavp @danielmartin @alanz)

yyoncho想搞大新闻。众所周知lsp-mode慢的死穴在于json解析部分。在Emacs 27以前，Emacs没有原生的JSON解析工具，lsp-mode只能用Elisp的JSON解析工具，这样和lsp服务器交互会花费大量时间在数据编码解码上，导致用户体验不好。

yyoncho计划通过使用25引入的dynamic module。用C这类语言为Emacs提供一个更快的json解析工具，提升lsp-mode的速度。

另外还有人提出可以通过第三方工具吧json转换为sexp，然后让Emacs用read读入达到加速的效果。

各位有什么高见呢？

zhouchongzxc · 2019 年3 月 2 日 02:24

emacs本身就有C语言的json解析函数

github.com

emacs-mirror/emacs/blob/d77d01d22902acdc45c2c7059de4f1b158ab5806/src/json.c

/* JSON parsing and serialization.

Copyright (C) 2017-2018 Free Software Foundation, Inc.

This file is part of GNU Emacs.

GNU Emacs is free software: you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation, either version 3 of the License, or (at
your option) any later version.

GNU Emacs is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
GNU General Public License for more details.

You should have received a copy of the GNU General Public License
along with GNU Emacs.  If not, see <https://www.gnu.org/licenses/>.  */

#include <config.h>

This file has been truncated. show original

就算是用module，还是生成vector的好

cireu · 2019 年3 月 2 日 02:28

github.com/emacs-mirror/emacs

Implement native JSON support using Jansson

committed 12:49PM - 10 Dec 17 UTC

phst

+867 -4

* configure.ac: New option --with-json. * src/json.c (Fjson_serialize, Fjson_in…sert, Fjson_parse_string) (Fjson_parse_buffer): New defuns. (json_malloc, json_free, json_has_prefix, json_has_suffix) (json_make_string, json_build_string, json_encode) (json_out_of_memory, json_parse_error) (json_release_object, check_string_without_embedded_nulls, json_check) (lisp_to_json, lisp_to_json_toplevel, lisp_to_json_toplevel_1) (json_insert, json_insert_callback, json_to_lisp) (json_read_buffer_callback, Fjson_parse_buffer, define_error): New helper functions. (init_json, syms_of_json): New file. * src/lisp.h: Declaration for init_json and syms_of_json. * src/emacs.c (main): Enable JSON functions. * src/eval.c (internal_catch_all, internal_catch_all_1): New helper functions to catch all signals. (syms_of_eval): Add uninterned symbol to signify out of memory. * src/Makefile.in (JSON_LIBS, JSON_CFLAGS, JSON_OBJ, EMACS_CFLAGS) (base_obj, LIBES): Compile json.c if --with-json is enabled. * test/src/json-tests.el (json-serialize/roundtrip) (json-serialize/object, json-parse-string/object) (json-parse-string/string, json-serialize/string) (json-parse-string/incomplete, json-parse-string/trailing) (json-parse-buffer/incomplete, json-parse-buffer/trailing): New unit tests. * doc/lispref/text.texi (Parsing JSON): New manual section.

那是27新加的，27还没release呢

zhouchongzxc · 2019 年3 月 2 日 02:30

让时间去解决这个问题吧

cireu · 2019 年3 月 2 日 02:32

Not constructive

zhouchongzxc · 2019 年3 月 2 日 02:34

不要忘了

“Lisp魔咒”

seagle0128 · 2019 年3 月 2 日 09:14

27有原生的 JSON解析，但似乎 lsp 没有快多少。也许用第三方的也能解决，一个命令行工具就行。

弱弱的问一句，vim 的 lsp 客户端用起来挺快，vscode 就不用说了，他们的 JSON 处理能否借鉴呢？

chansey97 · 2019 年3 月 2 日 09:42

既然parse json 是 bottleneck，没人提最新的simdjson么？

cireu · 2019 年3 月 2 日 09:44

vim的json解析是什么做的？是C吗？还是Python？

yicao · 2019 年3 月 2 日 11:20

vim的貌似是用rust写的

cireu · 2019 年3 月 2 日 11:25

那可是快如闪电啊

twlz0ne · 2019 年3 月 2 日 13:18

dynamic module 默认不开启是非常错误的策略，以至于这项功能形同虚设好多年。

cireu · 2019 年3 月 2 日 13:18

不是很懂，能否具体解释一下？你是指configure的编译选项么

我觉得另外一个dynamic module不讨喜的原因是跨平台能力不好。

twlz0ne · 2019 年3 月 2 日 13:36

这应该是后话了。

我觉得默认不开启首先要负相当一部分责任。不是有个段子么，谷歌第二页是最佳藏尸地点，所以我认为不可小觑默认关闭带来的消极作用。

casouri · 2019 年3 月 2 日 19:29

确实，很强大的功能，文档也很详细，但是用的人不多。不过可能也是大部分elisp包对性能要求不高的原因