arXiv cs.LG· Richard Bergna (University of Cambridge, Spotify), Fernando Ruiz Mazo (University of Cambridge), Nicol\`o Felicioni (Spotify), Jos\'e Miguel Hern\'andez-Lobato (University of Cambridge), Kamil Ciosek (Spotify)·· 3 小时前AI 评分24
σTransfer：在 μP 下将不确定性从小模型迁移到大模型
$\sigma$Transfer: Uncertainty Transfer from Small to Large Networks under $\mu\mathrm{P}$
AI 导读
研究者提出 σTransfer，在 Maximal Update Parametrization（μP）下对先验协方差做重缩放，使选定的先验精度随模型宽度增长保持稳定，从而只需在小模型上搜索精度并零样本迁移到大模型。
来源：arXiv cs.LG · arxiv.org