arXiv stat.ML· Donghan He, Luhuan Wu·· 11 小时前AI 评分20
通过有限阶松弛将路径梯度扩展到离散随机变量
Extending Pathwise Gradients to Discrete Random Variables via Finite-Order Relaxation
AI 导读
研究者提出一种通用框架,可为 Poisson 等常见离散随机变量构造有限阶精确路径梯度估计器,该估计器是所有对次数不超过某阶多项式无偏的解中范数最小的解。它保留硬前向采样、无需温度调参,几行代码即可实现,且在所有可行解中唯一并最小化权重方差。实验显示,其低阶方法在线性、非线性和分层潜变量模型上匹配或超越调优基线,并在每项运行时基准中快于竞品。
来源:arXiv stat.ML · arxiv.org