稀疏解码新方法在 Qwen2-0.5B 上无法复现稠密解码

Jorge L. Ruiz Williams 发表论文，提出基于注意力质量凝聚的稀疏解码方法，并给出“遗漏质量恒等式”与下游边际条件，用于刻画查询相关的均值池化块选择器。 在 Qwen2-0.5B 上，作者以 97–769 个位置支持、2K–16K 上下文做配对扫描，60 次运行在 128 token 内均未与稠密解码保持一致。论文称，仅保留注意力质量不足以保证稳定的贪心决策，检索误差、被省略的值方向和递归解码都会产生影响。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。