arXiv cs.LG· El Mahdi Chayti, Martin Jaggi·· 7 小时前AI 评分22
Split-Client:用异步曲率实现二阶优化
Second-Order Optimization with Asynchronous Curvature
AI 导读
研究提出 Split-Client 任务并行设计,由曲率客户端在后台分解 Hessian,梯度客户端用最新发布的矩阵执行三次正则化步,使曲率开销表现为延迟而非阻塞时间。针对延迟精确 Hessian,作者证明了依赖曲率平均年龄而非最大年龄的一阶驻点界,并扩展到子采样与非精确曲率。在两个 LIBSVM 数据集上,该实现比 Lazy 和 Vanilla 三次牛顿法更早降低目标函数,中等精度下收益最大。
来源:arXiv cs.LG · arxiv.org