研究揭示PFN摊销误差并提出模型平均改进

一项新研究从经验风险最小化视角，将先验数据拟合网络（PFN）的部署误差分解为先验误差、上下文误差和摊销误差，并对照真实先验下的参考后验预测分布测量摊销误差。研究发现，PFN整体能很好地还原目标后验预测分布，但在先验预训练分布下的稀有场景中，残余摊销误差即使扩大模型规模也依然存在，表现为独立预训练的PFN之间出现分歧。 研究测试多种贝叶斯模型平均方法，称其能持续降低这种不确定性并提升预测表现，最高可媲美完整规模的TabICLv2模型。该研究由Manuel Hülskamp等作者发表。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。