arXiv cs.LG· Sangyoon Bae, Sk Miraj Ahmed, Shinjae Yoo, Jiook Cha·· 6 小时前AI 评分22
预训练塑造谱结构：基础模型 OOD 鲁棒性的架构与策略条件化预测
Pretraining Shapes Spectral Structure: Architecture- and Strategy-Conditional Prediction of OOD Robustness in Foundation Models
AI 导读
研究发现，基础模型的 OOD 鲁棒性可从预训练权重的谱结构中提前判断，无需任何目标域数据。架构决定权重矩阵的信息存储方式，预训练策略决定奖励方向，二者共同决定谱几何；该统计量方向在架构族之间会反转，但在同一（架构×策略）组合即"cell"内保持稳定。
来源：arXiv cs.LG · arxiv.org