arXiv cs.CL· Mingyan Liu, Min Huang·· 4 小时前AI 评分22
SemanticFold:潜在序列压缩如何分离语言建模、可解码性与推理能力
SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning
AI 导读
研究提出 SemanticFold,一种在学习到的边界处折叠前缀隐藏状态的压缩方案,在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五种模型规模上评估。
来源:arXiv cs.CL · arxiv.org