跳到正文
arXiv cs.LG· Ruijie Li, Jiaxi Hu, Shiyu Wang, Yuxuan Liang·· 9 小时前AI 评分22

PHBA:前缀状态混合块注意力

PHBA: Prefix-State Hybrid Block Attention

AI 导读

研究提出 Prefix-State Hybrid Block Attention(PHBA),用 top-k 块稀疏检索替代固定局部滑动窗口注意力,并将每个检索块与其前缀状态配对,前缀状态由块边界处的门控线性递归构建。

来源:arXiv cs.LG · arxiv.org