arXiv stat.ML· Walid Bendada, Guillaume Salha-Galvan·· 4 小时前AI 评分17
两层 Softmax 采样纠偏：修正规模失衡与离散度带来的偏差
Two-Level Softmax Sampling Done Right: Correcting Bias from Size Imbalance and Dispersion
AI 导读
针对两层 Softmax（2LS）采样因忽略簇规模失衡与簇内相似度离散度而产生系统性采样偏差的问题，研究者提出 S-2LS 与 SD-2LS 两种采样方法，可在几乎不增加计算开销的前提下给出可证明更优的 Softmax 近似。在五个大规模数据集上的实验验证了其采样性质的改进，作者建议后续工作统一以这两种方法替代标准 2LS。
来源：arXiv stat.ML · arxiv.org