选择性状态空间模型的架构感知收敛分析

Adam Piaseczny 等作者针对 Mamba2 等选择性状态空间模型（SSM）在分布式学习中缺乏架构感知理论的问题，推导了单层与多层选择性 SSM 的梯度与平滑性边界，以及 FedAvg 和 FedProx 的收敛边界，刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。 作者在教师 SSM 生成的序列上数值验证了单层边界，并在六个文本域上对比九种联邦学习算法用于 Mamba2 语言建模。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。