研究:高精度学习器的最坏情况ld-CMI无法消失
热点事件持续更新
研究:高精度学习器的最坏情况ld-CMI无法消失
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Hazar Yueksel 发表论文,证明对零处斜率非零的平滑凸损失(如 logistic 损失)加幂次 r≥2 的正则项,在最优样本量 n≍ε^{-2+2/r} 下,期望超额风险不超过 ε 的正常学习器,其最坏情况损失差条件互信息(ld-CMI)达 n bits 量级;高斯噪声下为 Θ(n/(1+(τ/ε)^2)) bits。 这意味着,在这些分布上,范围缩放的 ld-CMI 界无法消失,尽管每个正常学习器的泛化差距仅为 O(n^{-1/2})。该结论由作者通过界定损失差的三阶矩得出。
AI 根据报道生成 · 3 小时前更新
最新进展10月8日 12:00
损失差条件互信息的精度—信息权衡报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv stat.ML损失差条件互信息的精度—信息权衡
研究证明,对零处斜率非零的平滑凸损失(如 logistic 损失)加幂次 r≥2 的正则项,在最优样本量 n≍ε^{-2+2/r} 下,期望超额风险不超过 ε 的正常学习器其最坏情况 ld-CMI 达 n bits 量级,高斯噪声下为 Θ(n/(1+(τ/ε)^2)) bits。因此范围缩放的 ld-CMI 界在这些分布上无法消失,尽管每个正常学习器的泛化差距仅为 O(n^{-1/2})。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。