σTransfer:小模型到大模型的精度迁移
热点事件持续更新
σTransfer:小模型到大模型的精度迁移
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
研究者提出 σTransfer,在 Maximal Update Parametrization(μP)下对先验协方差做重缩放,使选定的先验精度随模型宽度增长保持稳定,从而只需在小模型上搜索精度并零样本迁移到大模型。
摘自 arXiv cs.LG
最新进展10月9日 12:00
σTransfer:在 μP 下将不确定性从小模型迁移到大模型报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv cs.LGσTransfer:在 μP 下将不确定性从小模型迁移到大模型
研究者提出 σTransfer,在 Maximal Update Parametrization(μP)下对先验协方差做重缩放,使选定的先验精度随模型宽度增长保持稳定,从而只需在小模型上搜索精度并零样本迁移到大模型。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。