LayerRoPE：把层号编码写进深度轴

研究者 Shikhar Srivastava 与 Christopher Kanan 提出 LayerRoPE，一种沿深度轴、类似 RoPE 的隐式深度条件编码方法。他们在 9 个家族共 16 个预训练大模型中观察到，隐藏状态范数随深度增长，实际是一种涌现的深度位置编码：归一化权重 γ 的幅度增长与方向旋转共同编码层号。 LayerRoPE 把原本逐层的 γ 向量替换为一个共享向量加深度条件标量，使这种编码显式化。据作者称，该改动净减少参数量，FLOPs 变化小于 0.02%。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。