zip2zip++ 缩小推理时 token 压缩质量差距

Saibo Geng 等作者发布 zip2zip++，一种在推理时进行 token 压缩的方法。该方法通过解耦输入/输出动态嵌入层、尺寸感知 RoPE 定位和改进的 LZW 编解码器，在不修改预训练语言模型的前提下，缩小了动态词表压缩带来的质量差距。 作者称，在四个模型上，zip2zip++ 在保持相近压缩率的同时，将 zip2zip 与未压缩基线之间的质量差距缩小约一半，困惑度和数学推理准确率均有提升。作者表示，这一质量差距并非压缩的必然代价，可以通过改进压缩层和 LZW 编解码器大幅弥补。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。