我是白霜拼音作者,最近闲来无事,评测了下rime各个方案的整句准确度

评测报告:

Rime 评测结果

生成时间: 2026-04-25 21:30:36 +08:00
来源文件: benchmark_all_corpus_20260425T132924Z_report.txt
Vendor 子模块版本
vendor/rime-frost: 29b41fdeeedcb6f31b26b8408aec8e1448988a26
vendor/rime-ice: 2bd2983c6c74ea49b3a013f150ade7f3b8a27515
vendor/rime_wanxiang (wanxiang): 618fb082dac7b7e9bb45820811202e881be92bff
vendor/rime-wubi-sentence: c3b26af601e41de49227f86633df00985e8d8a77
评测摘要
========================================================================
Rime 多方案整句评测 — 摘要报告
========================================================================
生成时间 (UTC): 20260425T132924Z
rime.dll: D:\vscode\rime_projs\rime-schema-compare\lib\rime.dll
模式: 全部语料 (data/corpus/*.txt)

语料文件:
  - news: D:\vscode\rime_projs\rime-schema-compare\data\corpus\news.txt
  - novel: D:\vscode\rime_projs\rime-schema-compare\data\corpus\novel.txt
  - prose: D:\vscode\rime_projs\rime-schema-compare\data\corpus\prose.txt
  - tech: D:\vscode\rime_projs\rime-schema-compare\data\corpus\tech.txt
  - test: D:\vscode\rime_projs\rime-schema-compare\data\corpus\test.txt

【总体】
  [mingyuepinyin]
    句子正确率: 49.59%  (122/246 句完全匹配)
    文字正确率: 89.83%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 89.87%

  [mingyuepinyin_with_gram]
    句子正确率: 36.99%  (91/246 句完全匹配)
    文字正确率: 86.15%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 86.18%

  [rime_ice]
    句子正确率: 59.35%  (146/246 句完全匹配)
    文字正确率: 92.28%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 92.67%

  [rime_ice_with_gram]
    句子正确率: 64.23%  (158/246 句完全匹配)
    文字正确率: 94.23%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 94.38%

  [rime_frost]
    句子正确率: 61.79%  (152/246 句完全匹配)
    文字正确率: 93.22%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.21%

  [rime_frost_with_gram]
    句子正确率: 71.54%  (176/246 句完全匹配)
    文字正确率: 95.45%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.45%

  [wanxiang]
    句子正确率: 48.37%  (119/246 句完全匹配)
    文字正确率: 88.89%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 89.14%

  [rime_wanxiang_with_gram]
    句子正确率: 66.67%  (164/246 句完全匹配)
    文字正确率: 94.7%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 94.62%

  [rime_wubi_sentens_wubi86]
    句子正确率: 50.41%  (124/246 句完全匹配)
    文字正确率: 91.09%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.36%

  [rime_wubi_sentens_wubi86_with_gram]
    句子正确率: 71.14%  (175/246 句完全匹配)
    文字正确率: 95.96%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 96.14%

------------------------------------------------------------------------
【语料: news】
  [mingyuepinyin]
    句子正确率: 58.33%  (21/36 句完全匹配)
    文字正确率: 91.27%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 92.24%

  [mingyuepinyin_with_gram]
    句子正确率: 47.22%  (17/36 句完全匹配)
    文字正确率: 84.23%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 84.82%

  [rime_ice]
    句子正确率: 91.67%  (33/36 句完全匹配)
    文字正确率: 98.87%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 98.74%

  [rime_ice_with_gram]
    句子正确率: 88.89%  (32/36 句完全匹配)
    文字正确率: 97.18%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 97.54%

  [rime_frost]
    句子正确率: 80.56%  (29/36 句完全匹配)
    文字正确率: 95.77%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 96.72%

  [rime_frost_with_gram]
    句子正确率: 88.89%  (32/36 句完全匹配)
    文字正确率: 96.62%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 97.1%

  [wanxiang]
    句子正确率: 72.22%  (26/36 句完全匹配)
    文字正确率: 91.55%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.03%

  [rime_wanxiang_with_gram]
    句子正确率: 86.11%  (31/36 句完全匹配)
    文字正确率: 96.9%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 97.27%

  [rime_wubi_sentens_wubi86]
    句子正确率: 50.0%  (18/36 句完全匹配)
    文字正确率: 91.27%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.94%

  [rime_wubi_sentens_wubi86_with_gram]
    句子正确率: 77.78%  (28/36 句完全匹配)
    文字正确率: 94.65%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.43%

------------------------------------------------------------------------
【语料: novel】
  [mingyuepinyin]
    句子正确率: 44.12%  (60/136 句完全匹配)
    文字正确率: 87.83%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 87.93%

  [mingyuepinyin_with_gram]
    句子正确率: 36.76%  (50/136 句完全匹配)
    文字正确率: 87.28%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 86.88%

  [rime_ice]
    句子正确率: 50.74%  (69/136 句完全匹配)
    文字正确率: 90.66%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.02%

  [rime_ice_with_gram]
    句子正确率: 62.5%  (85/136 句完全匹配)
    文字正确率: 93.85%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.96%

  [rime_frost]
    句子正确率: 52.94%  (72/136 句完全匹配)
    文字正确率: 91.08%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 90.91%

  [rime_frost_with_gram]
    句子正确率: 67.65%  (92/136 句完全匹配)
    文字正确率: 94.74%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 94.69%

  [wanxiang]
    句子正确率: 44.12%  (60/136 句完全匹配)
    文字正确率: 88.66%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 88.6%

  [rime_wanxiang_with_gram]
    句子正确率: 63.24%  (86/136 句完全匹配)
    文字正确率: 94.05%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.89%

  [rime_wubi_sentens_wubi86]
    句子正确率: 50.74%  (69/136 句完全匹配)
    文字正确率: 91.01%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.28%

  [rime_wubi_sentens_wubi86_with_gram]
    句子正确率: 67.65%  (92/136 句完全匹配)
    文字正确率: 95.3%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.58%

------------------------------------------------------------------------
【语料: prose】
  [mingyuepinyin]
    句子正确率: 44.74%  (17/38 句完全匹配)
    文字正确率: 90.65%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 90.83%

  [mingyuepinyin_with_gram]
    句子正确率: 23.68%  (9/38 句完全匹配)
    文字正确率: 84.76%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 84.9%

  [rime_ice]
    句子正确率: 52.63%  (20/38 句完全匹配)
    文字正确率: 90.04%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.56%

  [rime_ice_with_gram]
    句子正确率: 39.47%  (15/38 句完全匹配)
    文字正确率: 91.67%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.61%

  [rime_frost]
    句子正确率: 55.26%  (21/38 句完全匹配)
    文字正确率: 93.5%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.52%

  [rime_frost_with_gram]
    句子正确率: 55.26%  (21/38 句完全匹配)
    文字正确率: 94.51%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 94.87%

  [wanxiang]
    句子正确率: 34.21%  (13/38 句完全匹配)
    文字正确率: 84.55%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 84.21%

  [rime_wanxiang_with_gram]
    句子正确率: 50.0%  (19/38 句完全匹配)
    文字正确率: 93.29%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.27%

  [rime_wubi_sentens_wubi86]
    句子正确率: 47.37%  (18/38 句完全匹配)
    文字正确率: 90.65%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.81%

  [rime_wubi_sentens_wubi86_with_gram]
    句子正确率: 60.53%  (23/38 句完全匹配)
    文字正确率: 96.14%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 96.19%

------------------------------------------------------------------------
【语料: tech】
  [mingyuepinyin]
    句子正确率: 70.97%  (22/31 句完全匹配)
    文字正确率: 94.23%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.89%

  [mingyuepinyin_with_gram]
    句子正确率: 38.71%  (12/31 句完全匹配)
    文字正确率: 84.62%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 84.93%

  [rime_ice]
    句子正确率: 67.74%  (21/31 句完全匹配)
    文字正确率: 95.43%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.64%

  [rime_ice_with_gram]
    句子正确率: 67.74%  (21/31 句完全匹配)
    文字正确率: 95.19%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.02%

  [rime_frost]
    句子正确率: 80.65%  (25/31 句完全匹配)
    文字正确率: 97.12%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 97.79%

  [rime_frost_with_gram]
    句子正确率: 83.87%  (26/31 句完全匹配)
    文字正确率: 97.36%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 96.85%

  [wanxiang]
    句子正确率: 58.06%  (18/31 句完全匹配)
    文字正确率: 93.27%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.91%

  [rime_wanxiang_with_gram]
    句子正确率: 74.19%  (23/31 句完全匹配)
    文字正确率: 95.91%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.47%

  [rime_wubi_sentens_wubi86]
    句子正确率: 58.06%  (18/31 句完全匹配)
    文字正确率: 92.79%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 91.73%

  [rime_wubi_sentens_wubi86_with_gram]
    句子正确率: 90.32%  (28/31 句完全匹配)
    文字正确率: 99.04%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 99.05%

------------------------------------------------------------------------
【语料: test】
  [mingyuepinyin]
    句子正确率: 40.0%  (2/5 句完全匹配)
    文字正确率: 92.06%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 93.13%

  [mingyuepinyin_with_gram]
    句子正确率: 60.0%  (3/5 句完全匹配)
    文字正确率: 92.06%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 94.36%

  [rime_ice]
    句子正确率: 60.0%  (3/5 句完全匹配)
    文字正确率: 88.89%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 84.16%

  [rime_ice_with_gram]
    句子正确率: 100.0%  (5/5 句完全匹配)
    文字正确率: 100.0%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 100.0%

  [rime_frost]
    句子正确率: 100.0%  (5/5 句完全匹配)
    文字正确率: 100.0%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 100.0%

  [rime_frost_with_gram]
    句子正确率: 100.0%  (5/5 句完全匹配)
    文字正确率: 100.0%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 100.0%

  [wanxiang]
    句子正确率: 40.0%  (2/5 句完全匹配)
    文字正确率: 84.13%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 83.96%

  [rime_wanxiang_with_gram]
    句子正确率: 100.0%  (5/5 句完全匹配)
    文字正确率: 100.0%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 100.0%

  [rime_wubi_sentens_wubi86]
    句子正确率: 20.0%  (1/5 句完全匹配)
    文字正确率: 84.13%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 83.58%

  [rime_wubi_sentens_wubi86_with_gram]
    句子正确率: 80.0%  (4/5 句完全匹配)
    文字正确率: 96.83%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 97.89%

Windows 拼音输入法黑盒评测结果

  • 生成时间: 2026-04-21 22:07:01 +08:00
  • 来源文件: benchmark_windows_pinyin_all_corpus_20260421T064308Z_report.txt, benchmark_shouxin_pinyin_all_corpus_20260421T135523Z_report.txt

评测摘要

========================================================================
Windows 拼音输入法黑盒整句评测 — 摘要报告
========================================================================
生成时间 (UTC): 20260421T064308Z
黑盒引擎: Microsoft Pinyin + Sogou Pinyin + Shouxin Pinyin via Notepad automation
模式: 全部语料 (data/corpus/*.txt)

语料文件:
  - news: D:\vscode\rime_projs\rime-schema-compare\data\corpus\news.txt
  - novel: D:\vscode\rime_projs\rime-schema-compare\data\corpus\novel.txt
  - prose: D:\vscode\rime_projs\rime-schema-compare\data\corpus\prose.txt
  - tech: D:\vscode\rime_projs\rime-schema-compare\data\corpus\tech.txt
  - test: D:\vscode\rime_projs\rime-schema-compare\data\corpus\test.txt

【总体】
  [microsoft_pinyin]
    句子正确率: 67.89%  (167/246 句完全匹配)
    文字正确率: 92.71%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 94.13%

  [sogou_pinyin]
    句子正确率: 54.47%  (134/246 句完全匹配)
    文字正确率: 77.02%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 88.5%

  [shouxin_pinyin]
    句子正确率: 71.14%  (175/246 句完全匹配)
    文字正确率: 94.48%  (全语料金文加权,基于 Levenshtein)
    文字正确率(逐句平均): 95.39%

根据 2026.4.25日评测结果白霜拼音在不使用模型时领先其他方案;使用模型时,已超越商业输入法的准确率([白霜拼音用模型]句子正确率: 71.54% (176/246 句完全匹配),手心输入法句子正确率: 71.14% (175/246 句完全匹配))。

6 个赞

看起来frost和wanxiang还有商业输入法准确率基本算同一个档次了

白霜词库的作者?感谢。

拼音转文本这个总感觉一段py可以转成多条文本才是正常的,一段拼音可以唯一匹配一段文本反倒感觉奇怪

感谢作者 :folded_hands:

很奇怪,明月+gram居然效果都更差了 :joy:

某些测试中白霜似乎还比雾凇差呢?似乎不应该这个效果。

明月我用的是万象的模型 可能参数不适配,或者简繁体的问题,可以忽略明月+万象模型 然后雾凇比白霜有的测试好这也正常,除非白霜正确率能到100%,否则总有别人对 白霜错的情况。只能说总体正确率 白霜最高

没错,我调参后 白霜能和手心打平

拼音转文本不就是大一长串拼音,然后看首选吗😂 我还修改了Librime让rime生成3条整句,然后看top3的正确率的评测

墨奇输入法可以换其他方案吗,我习惯万象的音调输入了,想改成万象方案。

可以换,你看下readme,放到C:\Users\xx\AppData\Roaming\Moqi 能切换方案集