arXiv cs.CL· Guancheng Du, Luotian Huang, Shaowen Wang, Si Li, Kaifeng Lyu·2026-10-07 12:00· 9 小时前AI 评分27

WavePrune：RoPE 只需第一个旋转周期即可提升长上下文性能

WavePrune: One period is often enough for RoPE

AI 导读

WavePrune 通过将 RoPE 每个通道限制在第一个旋转周期内，消除位置混叠带来的注意力干扰，在五个测试模型中的四个上无需额外调优即提升 HELMET 分数（如 Qwen3-8B 从 35.7 升至 40.0）。

来源：arXiv cs.CL · arxiv.org