新研究提出异步曲率二阶优化方法Split-Client

研究提出一种名为 Split-Client 的任务并行二阶优化设计：曲率客户端在后台分解 Hessian，梯度客户端则用最新发布的矩阵执行三次正则化步，使曲率计算的开销表现为延迟而非阻塞时间。作者 El Mahdi Chayti 与 Martin Jaggi 在论文中给出了针对延迟精确 Hessian 的一阶驻点界，该界依赖曲率矩阵的平均年龄而非最大年龄，并将结论扩展到子采样与非精确曲率的情形。 在两个 LIBSVM 数据集上，该实现比 Lazy 和 Vanilla 三次牛顿法更早降低目标函数，中等精度下收益最大。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。