PFN 如何摊销贝叶斯推理？研究揭示稀有场景下的摊销误差与贝叶斯模型平均补救方案

研究从经验风险最小化视角将 PFN 的部署误差分解为先验误差、上下文误差和摊销误差，发现 PFN 整体能很好地还原目标后验预测分布，但在先验预训练分布下的稀有场景中，残余摊销误差即使扩大模型规模也依然存在，表现为独立预训练的 PFN 之间出现分歧。研究测试多种贝叶斯模型平均方法，发现其能持续降低这种不确定性并提升预测表现，最高可媲美完整规模的 TabICLv2 模型。