黑盒向量搜索实现稀疏注意力获理论边界

一项新研究给出了用黑盒最大内积搜索（MIPS）实现稀疏注意力的理论边界：要输出 ε-精确的注意力估计，单个 MIPS 索引下需要 Θ(√n/ε) 个键，这一数量既充分又必要；若使用 Θ(log n) 个索引，则只需 O(log n+1/ε²) 个键，且接近最优。 该结果由 Stepan Zharkov、Krish Singal、Ashwin Padaki 和 Alexandr Andoni 提出，通过 priority sampling 框架统一了此前的多种方法。研究针对的是注意力估计的检索键数量问题，属于理论分析，尚未报告实际模型上的运行效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。