arXiv cs.LG· Wenwen Gong, Haotian Gu, Zhen Yang, Jiaying Ma, Hanqing Zhang, Zhongshen Wang, Jingjun Wang, Shouyi Xu, Wei Wang·· 7 小时前AI 评分18
TabPFN-3 的逐层推理研究：深度何时真正有用？
When Does Depth Help? Understanding Layerwise Inference in Tabular Foundation Models
AI 导读
研究分析了 TabPFN-3 全部 24 个上下文学习层在 272 个分类数据集上的表现，发现明显的"扩张-压缩"轨迹，后期维度收缩越强，类别原型分离度提升越大。早期预测稳定后表征仍持续变化，局部模糊查询从浅层到深层获得的准确率增益大于易分样本；重复单个预训练块或打乱层序平均会降低预测性能。
来源：arXiv cs.LG · arxiv.org