https://www.ckappblog.com/categories/fcitx5/ Recent content in Fcitx5 on ckappblog Hugo -- gohugo.io zh-cn Example Person Mon, 09 Nov 2026 00:00:00 +0000 https://www.ckappblog.com/p/fcitx/ Mon, 09 Nov 2026 00:00:00 +0000 https://www.ckappblog.com/p/fcitx/ <img src="https://www.ckappblog.com/imgs/3.jpg" alt="Featured image of post 用 LCCD 语料统计 fcitx5 词频的一次尝试" /><h2 id="起因">起因 </h2><p>fcitx5 自带的词库的太小,手动一条条加用户词太慢，索性拿一份真实语料跑一遍词频，一次性喂给 fcitx5。</p> <h2 id="做法">做法 </h2><p>词表直接取白霜拼音 1.0.3 的 fcitx5 词库，就是「词 / 拼音 / 频率」三列那个文件。统计时只用词和拼音两列，它原来的频率不参与——我们要算的是这份语料里的分布，旧频率留着反而会干扰。</p> <p>我统计材料使用的是iccc,这个是目前规模最大的清洗版中文闲聊语料之一，与日常打字的场景一致。</p> <p>匹配这一环其实不是分词，而是<strong>多模式匹配</strong>：把所有词条塞进一个 AC 自动机，在语料上扫一遍，<strong>所有命中都计数，允许嵌套和重叠</strong>。也就是说&quot;计算机科学&quot;这句话里，&ldquo;计算机&quot;&ldquo;科学&quot;&ldquo;计算机科学&quot;各算一次。语料原有的空格不当边界，直接忽略。</p> <p>这样做的好处是实现简单、语料只需扫一遍，而且流式读入，不用把整个语料load进内存。</p> <p>计数完按次数降序排序，权重用归一化概率（该词次数 / 总命中数），写回「词 / 拼音 / 概率」三列。同一个词有多个读音的，各占一行；一次都没命中的词也保留，概率写 0。</p> <h2 id="为什么不用-104">为什么不用 1.0.4 </h2><p>实测 1.0.4 在 fcitx5 下效果很差，候选排序反而更乱、常用词沉底，所以退回了 1.0.3。</p> <h2 id="实测效果">实测效果 </h2><p>整体是够用的：术语和惯用搭配基本上都有，翻页明显变少，这部分收益很实在。</p> <p>但<strong>偶尔会出现很奇怪的排序</strong>：某个冷门词跑到常用词前面，或者两个词先后顺序跟直觉完全相反。</p> <h2 id="结论">结论 </h2><p>只能说比官方词库好用，但是仍然需要大量手动调整。</p>