跳到正文
arXiv cs.LG· Stepan Zharkov, Krish Singal, Ashwin Padaki, Alexandr Andoni·· 6 小时前AI 评分22

通过黑盒向量搜索实现注意力:稀疏注意力检索键数量的理论边界

Attention via Black-Box Vector Search

AI 导读

研究以黑盒 MIPS 预言机检索多少键才能输出 ε-精确的注意力估计,通过 priority sampling 框架统一了已有方法。单个 MIPS 索引下 Θ(√n/ε) 个键既充分又必要;使用 Θ(log n) 个索引时仅需 O(log n+1/ε²) 个键且接近最优。

来源:arXiv cs.LG · arxiv.org