跳到正文
热点事件持续更新

研究：Mamba检索瓶颈源于相关性信号延迟

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

一项新研究指出，Mamba 在上下文检索上落后于 Transformer，原因不只是状态容量不足。研究者 Nir Yarden、Amit Ben-Artzy 和 Roy Schwartz 通过 query-first 检索设置发现，即使状态容量不构成瓶颈，Mamba 仍显著落后。 研究称，Mamba 的选择门控足以影响输出，但门控依赖 token 表示来编码查询相关性，而这种相关性信号要随模型深度才逐渐出现，导致检索关键层的门控尚未与之对齐。因此研究者认为，Mamba 的检索瓶颈还在于相关性信息在深度上的延迟出现。

AI 根据报道生成 · 3 小时前更新

最新进展10月15日 12:00
为何 Mamba 的检索会失效：超越状态容量假说

报道时间线

沿着报道，了解事件的不同侧面。

10月15日
  1. arXiv cs.CL
    为何 Mamba 的检索会失效：超越状态容量假说

    针对 Mamba 在上下文检索上落后于 Transformer 的现象，研究者通过 query-first 检索设置证明，即使状态容量不构成瓶颈，Mamba 仍显著落后。Mamba 的选择门控足以影响输出，但门控依赖 token 表示编码查询相关性，而该相关性信号随模型深度才逐渐出现，检索关键层的门控尚未与之对齐。因此 Mamba 的检索瓶颈不止于状态容量，还在于相关性信息在深度上的延迟出现。

本事件热度走势

可比范围当前
9
可比范围峰值
1010月15日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。