Tokka-Bench：跨 100 种自然语言与 20 种编程语言的 tokenizer 评测框架

开源框架 Tokka-Bench 发布，用 bytes per token、unique token coverage、subword fertility、word-split rate 和 vocabulary composition 五项指标，在 100 种自然语言（30+ 种文字系统）和 20 种编程语言上评测 tokenizer。