为什么重尾权重谱能预测模型质量：NeurIPS 2026 论文给出统计学解释

一项被 NeurIPS 2026 接收的研究从统计学角度解释了重尾权重谱为何能预测 DNN 模型质量。作者用概率框架推导出仅依赖最后一层权重的边际似然，并在大规模卷积 DNN 和 LLM 上验证其可预测模型质量；进一步推导出服从重尾 HTMP 分布的谱的极限对数边际似然，证明该量对重尾参数呈凸性，并给出可经验性预测大规模 DNN 过拟合的最优重尾程度。