研究者提出Internal-DW梯度路由方法

Junhao Zhao等作者提出Internal-DW（Internal Dual-Wiener路由），一种仅作用于反向传播的干预方法，通过有界Wiener增益对恒等与非线性梯度路径做可靠性加权，前向传播和逐步损失保持不变，用于缓解长时程自回归预测中远距离梯度可能主导更新却不可靠的问题。 据该研究称，在四个历史主导、弱驱动的测试基准上，Internal-DW相对完整BPTT将预测误差降低5.2%–13.8%，在三个基准上优于梯度裁剪和Jacobian正则化，在剪切流上表现相近，并在三个基准上优于经验证集选择的截断BPTT。 该研究同时指出，当可用历史有限，或所选采样器无法代表主导的驱动相关变化时，其收益会减弱甚至反转。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。