arXiv cs.AI· Duong Nguyen, Nicolas Chesneau, Milan Bhan·· 13 小时前AI 评分22
表格基础模型的标准化陷阱:认证联合标签处理
The Standardization Trap: Certifying Joint Label Processing in Tabular Foundation Models
AI 导读
针对预训练表格基础模型(TFM)是否采用固定权重解释上下文学习,研究者提出两种仅依赖标准化标签预测的认证方法,可排除固定权重预测和独立非线性标签变换之和两种解释。在评估的五个公开 TFM 上,认证结果显示改变一个上下文标签会改变其他标签对预测的影响,即"联合处理",且该行为随训练出现,注意力分数承载了大部分测得的交互。
来源:arXiv cs.AI · arxiv.org