arXiv stat.ML· Weiqi Sun, Qianyue Wu, Wenjia Wang, Tianyang Hu·· 2 小时前AI 评分22
OAL：面向离群维度的分组二次核注意力线性化方法
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
AI 导读
研究者提出 Outlier-Aware Attention Linearization（OAL），一种按维度分组构建二次注意力近似的方法，针对少数离群维度对 query-key 点积贡献过大的问题。
来源：arXiv stat.ML · arxiv.org