跳到正文
arXiv cs.CL· Jorge L. Ruiz Williams·· 4 小时前AI 评分22

稀疏解码中的注意力质量凝聚:Qwen2-0.5B 上 60 次运行均无法复现稠密解码

Attention-Mass Condensation for Sparse Decoding

AI 导读

研究提出"遗漏质量恒等式"与下游边际条件,刻画了查询相关的均值池化块选择器,并在 Qwen2-0.5B 上以 97–769 位置支持、2K–16K 上下文做配对扫描,60 次运行在 128 token 内均未与稠密解码保持一致。

来源:arXiv cs.CL · arxiv.org