研究者提出语言无关分词方法 LCT

研究者 Felermino D. M. A. Ali 等作者提出一种名为 Latent Core Tokenizer（LCT）的语言无关分词方法，其核心思路是把结构发现与词表构建分开：先借助最小描述长度、基于熵的边界信号和形态约束识别可复用的语言单元，再据此构建词表。 该方法的提出者称，这一分离使分词过程不依赖具体语言，从而适用于不同语种。目前公开信息为方法本身，尚未见其在不同语言上的实际效果数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。