为何 Mamba 的检索会失效：超越状态容量假说

针对 Mamba 在上下文检索上落后于 Transformer 的现象，研究者通过 query-first 检索设置证明，即使状态容量不构成瓶颈，Mamba 仍显著落后。Mamba 的选择门控足以影响输出，但门控依赖 token 表示编码查询相关性，而该相关性信号随模型深度才逐渐出现，检索关键层的门控尚未与之对齐。因此 Mamba 的检索瓶颈不止于状态容量，还在于相关性信息在深度上的延迟出现。