损失差条件互信息的精度—信息权衡

研究证明，对零处斜率非零的平滑凸损失（如 logistic 损失）加幂次 r≥2 的正则项，在最优样本量 n≍ε^{-2+2/r} 下，期望超额风险不超过 ε 的正常学习器其最坏情况 ld-CMI 达 n bits 量级，高斯噪声下为 Θ(n/(1+(τ/ε)^2)) bits。因此范围缩放的 ld-CMI 界在这些分布上无法消失，尽管每个正常学习器的泛化差距仅为 O(n^{-1/2})。