arXiv cs.LG· Aleksandar Armacki, Haoyuan Cai, Ali H. Sayed·· 6 小时前AI 评分15
重尾噪声下的去中心化 SGD：梯度裁剪实现最优收敛率
Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
AI 导读
针对重尾噪声下去中心化优化中裁剪收敛率次优、归一化需局部动量或 mini-batch 才能收敛的问题，研究证明带裁剪的去中心化 SGD（DSGD）在平滑非凸目标、有界 p 阶矩噪声（p∈(1,2]）下可同时以高概率和期望达到阶最优收敛率，并实现智能体数量的线性加速。
来源：arXiv cs.LG · arxiv.org