arXiv cs.LG· Martin Hofmann, Patrick M\"ader·· 6 小时前AI 评分12
网络的训练历史何时比当前状态更能预测其未来学习？来自响应探针与预测筛选的证据
When does a network's training history predict its future learning better than its current state? Evidence from a response probe and a forecasting screen
AI 导读
研究探究神经网络的训练历史何时比当前状态更能预测未来学习。实验用小型多层感知机在42种历史轨迹下训练，以100步短探针测量未来学习，结果显示不超过四维的历史状态未能优于当前状态的校准模型（增益-21.4%）。在1560次合成回归运行中，历史模型仅在最多240个epoch中的前12个epoch预测优于当前验证误差，48个epoch后两者无法区分。
来源：arXiv cs.LG · arxiv.org