掩码文本重建中的语料采样分歧预测

研究提出一种基于邻近 token 对计数的平滑预测器，可在不访问目标语料的情况下，从独立参考语料预估两份语料训练出的掩码文本重建预测器之间的期望分歧，并在 GPT-2 全部 50,257 个 token 词表上评估。