论文量化自然梯度下降的低效性

一篇 arXiv 论文量化了自然梯度下降（NGD）相对 Fisher–Rao 测地线的低效比 R≥1，即混合测地线的 Fisher 长度除以 Fisher–Rao 距离，并给出其随参数维度 d 的上界。 论文称，R 随 d 的变化分三种情形：二次势族（如固定协方差高斯）处处 R=1；有界三阶偏度加有限 Fisher–Rao 直径时，R 有与维度无关的上界；尺度族乘积（含高斯协方差与 Gamma 速率）下，R 以 Θ(√log d) 增长、随 d 无界。

AI 根据报道生成 · 8 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。