研究：训练历史难比当前状态更好预测未来学习

一项发表于 arXiv 的研究检验了神经网络的训练历史能否比当前状态更好地预测其未来学习。作者 Martin Hofmann 与 Patrick Mäder 用小型多层感知机在 42 种历史轨迹下训练，并以 100 步短探针测量未来学习，结果显示不超过四维的历史状态未能优于当前状态的校准模型，增益为 -21.4%。 在 1560 次合成回归运行中，历史模型仅在最多 240 个 epoch 中的前 12 个 epoch 预测优于当前验证误差，48 个 epoch 后两者无法区分。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。