arXiv cs.LG· Junhao Zhao, David Michael Simberg, Jacob Kang, Colin Connor Kurniawan, Nan Xu·· 6 小时前AI 评分22
Internal-DW:面向长时程自回归预测的可靠性加权信用分配
Large Distant Gradients Need Not Be Reliable: reliability-weighted credit assignment for long-horizon autoregressive forecasting
AI 导读
针对自回归预测中 BPTT 远距离梯度可能主导更新却不可靠的问题,研究者提出 Internal-DW,一种仅作用于反向传播的干预方法,通过有界 Wiener 增益对恒等与非线性梯度路径做可靠性加权。
来源:arXiv cs.LG · arxiv.org