Orthros：面向高效 Transformer 的阶段感知异构注意力机制

研究者提出 Orthros 注意力，通过阶段感知解耦在序列处理不同阶段动态切换计算模式，实现线性复杂度的预填充与全注意力解码。该机制在重预填充、轻解码的长上下文场景下取得 21.9 倍预填充加速，并在 128K needle-in-a-haystack 测试中接近满分，同时保持 Transformer 级别的上下文召回能力。