自归一化KL估计获通用有限样本界

Buu Phan、Lester Mackey 和 David Alvarez-Melis 发表论文，证明基于归一化重要性权重构建的熵型 KL 散度估计器，其期望超出目标-提议 KL 散度最多 log 2，且对任意样本量成立。该界不要求重要性权重有界或高阶矩有限。 作者称，据此可给出重要性加权重采样分布与提议分布间 KL 散度的上界，并将其应用于 Soft Best-of-N 采样的生成模型测试时对齐与相对熵编码，得到有限样本策略散度证书与无矩编码成本界。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。