arXiv cs.AI· Adam Piaseczny, Md Kamran Chowdhury Shisher, Shiqiang Wang, Christopher G. Brinton·· 11 小时前AI 评分23
选择性状态空间模型的分布式学习：架构感知收敛分析
Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis
AI 导读
研究针对 Mamba2 等选择性 SSM 在分布式学习中缺乏架构感知理论的问题，推导了单层与多层选择性 SSM 的梯度与平滑性边界，以及 FedAvg 和 FedProx 的收敛边界，刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。作者在教师 SSM 生成的序列上数值验证了单层边界，并在六个文本域上对比九种联邦学习算法用于 Mamba2 语言建模。
来源：arXiv cs.AI · arxiv.org