研究为重尾权重谱预测模型质量提供统计解释

一项被 NeurIPS 2026 接收的研究从统计学角度解释了重尾权重谱为何能预测深度神经网络（DNN）的模型质量。作者 Joseph Wilson 等人用概率框架推导出仅依赖最后一层权重的边际似然，并在大规模卷积 DNN 和 LLM 上验证其可预测模型质量。 研究进一步推导出服从重尾 HTMP 分布的谱的极限对数边际似然，证明该量对重尾参数呈凸性，并给出可经验性预测大规模 DNN 过拟合的最优重尾程度。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。