arXiv cs.LG· Kanghui Ning, Marin Bilo\v{s}, James T. Wilson, Yilang Zhang, Kashif Rasul, Dongjin Song, Anderson Schneider, Yuriy Nevmyvaka·· 3 小时前AI 评分24
表格基础模型的测试时计算:机制、收益与局限
Test-Time Compute for Tabular Foundation Models: Mechanisms, Gains, and Limits
AI 导读
研究系统考察了测试时计算对预训练表格基础模型(TFM)预测能力的提升,从适配、聚合与上下文构建三个维度在 TabArena 及 OpenML 上展开评估。提出的 DiagScale 仅训练 0.003-0.03% 参数即达到全量微调效果;96 种配置的贪心选择较默认预测器降低 2.4% 误差,而均匀平均反而增加误差。适配与选择性聚合可带来一致的基准收益,上下文构建的收益则更依赖任务与数据条件。
来源:arXiv cs.LG · arxiv.org