arXiv cs.LG· Tianqi Zhao, Jia Guo, Yan Shuo Tan, Qiong Zhang·· 7 小时前AI 评分24
TabReliBench:评估表格基础模型的可靠性,不止于预测精度
TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
AI 导读
研究者提出 TabReliBench,一个面向表格基础模型(TFM)的大规模分类与回归可靠性评测基准,从点预测、分布质量、边缘与子群校准、区间效率等维度进行评估。结果显示 TFM 在 TabArena 与本基准上的排名会变化,回归 TFM 通常接近名义边缘覆盖率但条件覆盖未必有效,集成能提升预测性能却不稳定改善校准,conformal 后处理对 TFM 收益有限。
来源:arXiv cs.LG · arxiv.org