arXiv cs.LG· Junjie Xiao, Huiwen Jia·· 11 小时前AI 评分15
大初始化下逻辑梯度下降轨迹的近似理想路径
Ideal Paths for Approximating Logistic Gradient Descent Trajectories at Large Initialization
AI 导读
研究针对严格线性可分数据上的全批量逻辑梯度下降（GD），在大初始化尺度 R 下构建了一条由有限线性段组成的唯一连续理想路径，包含负间隔修正与最小间隔增长两个阶段。经两阶段时间重参数化后，固定步长 GD 轨迹除以 R 会随 R→∞ 均匀收敛到该路径，并给出考虑初始化扰动与阶段过渡的定量误差界。该近似还给出峰值评估损失与累积训练损失的渐近公式，其中峰值评估损失即使两端损失趋于零也可随 R 线性增长。
来源：arXiv cs.LG · arxiv.org