arXiv stat.ML· Guni Sharon, Alan Kuhnle·· 5 小时前AI 评分18
自然梯度下降有多低效？从精确最优到 Θ(√log d) 散度
How Inefficient Is Natural Gradient Descent? From Exact Optimality to \Theta ( \sqrt{ \log d } ) Divergence
AI 导读
研究量化了自然梯度下降（NGD）相对 Fisher–Rao 测地线的低效比 R≥1，并证明其随参数维度 d 的变化分三种情形：二次势族（如固定协方差高斯）处处 R=1；有界三阶偏度加有限 Fisher–Rao 直径时 R 有与维度无关的上界；尺度族乘积（含高斯协方差与 Gamma 速率）下 R 以 Θ(√log d) 增长、随 d 无界。
来源：arXiv stat.ML · arxiv.org