研究者提出OAL注意力线性化方法

Weiqi Sun等作者提出 Outlier-Aware Attention Linearization（OAL），一种按维度分组构建二次注意力近似的方法，针对少数离群维度对 query-key 点积贡献过大的问题。 据作者描述，该方法基于注意力维度贡献的不均匀性，对维度进行分组以构造二次近似；代码已在论文中给出链接。目前尚无第三方验证或与其他方法对比的结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。