arXiv cs.CL· Felermino D. M. A. Ali, Millicent Ochieng, Ogbemi Ekwejunor-Etchie, Ade Famoti, Jacki O'Neill, Debjit Paul·· 3 小时前AI 评分22
Latent Core Tokenizer：压缩，但要有意义
Latent Core Tokenizer: Compress, but Meaningfully
AI 导读
研究者提出 Latent Core Tokenizer（LCT），一种将结构发现与词表构建分离的语言无关分词方法，借助最小描述长度、基于熵的边界信号和形态约束先识别可复用语言单元。
来源：arXiv cs.CL · arxiv.org