arXiv cs.CL· Shikhar Srivastava, Christopher Kanan·· 4 小时前AI 评分31
LayerRoPE：动态深度幅度与角度叠加，用深度条件编码替代逐层 γ
LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition
AI 导读
研究者在 9 个家族 16 个预训练 LLM 中发现，隐藏状态范数随深度增长实为一种涌现的深度位置编码，由归一化权重 γ 的幅度增长与方向旋转共同编码层号。
来源：arXiv cs.CL · arxiv.org