跳到正文
arXiv cs.AI· Irene Cannistraci, Julia E. Vogt·· 1 天前AI 评分27

研究发现表格基础模型(TFM)实为"浅层"架构,可移除96%的Transformer块

Tabular Foundation Models Are Effectively Shallow

AI 导读

研究者提出一种闭式、无标签的仿射转换器,可替换表格基础模型(TFM)中最多96%的连续Transformer块。在171个分类数据集上评估8个前沿TFM后发现,替换一半块的中位AUROC损失最多仅0.002,半深TabFM仍优于所有全深TFM和调优GBDT。移除深度最多可省1.5B参数,GPU推理提速最高6倍,单块TabPFN-3缓存查询提速2.4倍且内存减少6倍。

来源:arXiv cs.AI · arxiv.org