跳到正文
arXiv cs.CL· Mingyan Liu, Min Huang·· 4 小时前AI 评分22

SemanticFold:潜在序列压缩如何分离语言建模、可解码性与推理能力

SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning

AI 导读

研究提出 SemanticFold,一种在学习到的边界处折叠前缀隐藏状态的压缩方案,在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五种模型规模上评估。

来源:arXiv cs.CL · arxiv.org