arXiv cs.CL· Vinko Sabol\v{c}ec, Angelos Katharopoulos, David Grangier·· 3 小时前AI 评分24
有损压缩文本自编码器：残差降采样与离散瓶颈实现 2.24 bits/byte 压缩
Lossy Compressive Text Autoencoders
AI 导读
研究提出一种文本自编码器架构，沿时间轴对隐藏表示做残差降采样与上采样，并配以残差低维离散瓶颈，实现文本的压缩潜在表示学习。该方法在 web 文本数据上达到 2.24 bits per byte，与无损文本压缩算法相当，同时保持较好的重建质量和下游任务表现。团队用 BLEU 评估表层相似度、用 LLM-based judge 评估语义相似度，并在问答和语义文本相似度基准上测试了模型。
来源：arXiv cs.CL · arxiv.org