arXiv stat.ML· Ian Zhang, Thibault Randrianarisoa·· 4 小时前AI 评分12
似然退火对变分贝叶斯线性神经网络极限预测矩的影响
The Impact of Likelihood Tempering on the Limiting Predictive Moments of Variational Bayesian Linear Neural Networks
AI 导读
针对宽贝叶斯神经网络中高斯平均场变分推断易出现的"先验主导"问题，研究对似然施加温度 T 的 1/T 次幂退火，在宽度 M→∞ 时推导其极限预测分布并与未退火的 NNGP 后验对比。结果显示预测期望与方差在不同尺度发生相变：当 c=1/2 且 τ 低于显式阈值时期望脱离先验值，c>1/2 时等于最小二乘预测，而方差在 c<1/2 时保持先验值、c>1 时转为 NNGP 后验方差。
来源：arXiv stat.ML · arxiv.org