arXiv cs.LG· Zhangyang Peng, Jingze Shi, Tongyi Zhang, Yuyu Luo·· 7 小时前AI 评分20
GIST：面向表格基础模型的生成器状态引导监督
GIST: Generator-state-Informed Supervision for Tabular Foundation Models
AI 导读
针对基于先验数据拟合网络的表格基础模型（TFM）预训练中使用采样硬查询标签带来采样变异的问题，研究者提出生成器状态引导监督方法 GIST，利用中间生成器状态在条件标签分布上对查询损失取平均。在匹配预训练计划下，GIST 在 TabArena 和 TALENT 上提升了三种架构的平均排名，且不改变架构与推理。在成对数据集级比较中，GIST 相对硬标签对照组胜率达 62.1%。
来源：arXiv cs.LG · arxiv.org