研究提出预测语料采样分歧的一阶公式

一项 arXiv 研究提出一阶公式，用于预测两份独立语料训练出的掩码文本重建预测器之间的期望分歧。该公式将每份源文档视为一次观测，并据此推导。 研究还提出一种基于邻近 token 对计数的平滑预测器，称可在不访问目标语料的情况下，仅从独立参考语料预估上述分歧，并在 GPT-2 全部 50,257 个 token 词表上完成评估。上述效果为研究者的说法，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。