自归一化 KL 估计的通用界

研究证明，基于归一化重要性权重构建的熵型 KL 散度估计器，其期望超出目标-提议 KL 散度最多 log 2，且对任意样本量成立。该界不要求重要性权重有界或高阶矩有限，并给出重要性加权重采样分布与提议分布间 KL 散度的上界。结果应用于 Soft Best-of-N 采样的生成模型测试时对齐与相对熵编码，得到有限样本策略散度证书与无矩编码成本界。