研究者提出Orthros阶段感知注意力机制

1. 12:00
   arXiv cs.AI

   Orthros：面向高效 Transformer 的阶段感知异构注意力机制

   研究者提出 Orthros 注意力，通过阶段感知解耦在序列处理不同阶段动态切换计算模式，实现线性复杂度的预填充与全注意力解码。该机制在重预填充、轻解码的长上下文场景下取得 21.9 倍预填充加速，并在 128K needle-in-a-haystack 测试中接近满分，同时保持 Transformer 级别的上下文召回能力。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。