研究：分词器选择对低资源语言影响更大

一项 arXiv 论文研究分词器选择对多语言语言模型的语言特异性影响。作者训练了覆盖 54 种分词器的 123 个语言模型，发现分词器选择对训练数据较少的语言影响更大：在 31 种训练语言中，一个语言的 bits-per-byte（BPB）标准差随其训练数据占比下降而上升（Spearman rho = -0.52）。 研究还发现，将某语言排除在分词器训练之外会提高其 BPB，且对低资源语言的惩罚更大；但给低资源语言更大分词器训练数据份额并非无条件有益。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。