跳到正文
arXiv cs.LG· Amir Mohammad Mahfoozi, Zi Yang, Ying Li, Michael Minyi Zhang·· 9 小时前AI 评分24

RFF-GPA:线性时间概率注意力,用随机傅里叶特征实现校准不确定性

Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty

AI 导读

研究者提出即插即用的随机傅里叶特征高斯过程注意力模块 RFF-GPA,将注意力表示为用随机傅里叶特征近似平稳核的高斯过程,把后验均值与方差的近似复杂度降到序列长度的线性级。在多个真实数据集上,该模块在保持预测精度的同时改善了校准表现。

来源:arXiv cs.LG · arxiv.org