arXiv cs.CL· Saibo Geng, Andrea Gentilini, Xinxian Ma, Nathan Ranchin, Yunzhen Yao, Robert West·· 2 小时前AI 评分29
zip2zip++：在推理时实现最小质量损失的 token 压缩
zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
AI 导读
zip2zip++ 通过解耦输入/输出动态嵌入层、尺寸感知 RoPE 定位和改进的 LZW 编解码器，在不修改预训练语言模型的前提下缩小了动态词表压缩带来的质量差距。在四个模型上，该方法在保持相近压缩率的同时，将 zip2zip 与未压缩基线之间的质量差距缩小了约一半，困惑度和数学推理准确率均有提升。
来源：arXiv cs.CL · arxiv.org