arXiv cs.LG· Hao-Run Cai, Si-Yang Liu, Zi-Jian Cheng, Kun-Yang Yu, Jin-Hao Sheng, Guo Yu, Chonghan Liu, Zhi Zhou, Jun-Peng Jiang, Lan-Zhe Guo, Han-Jia Ye·· 6 小时前AI 评分22
Retro：面向表格基础模型的回溯式推理
Thinking in Depth: Retrospective Inference for Tabular Foundation Models
AI 导读
研究者提出表格基础模型 Retro，通过回溯式推理让网络后层显式重访并重组前层中间信息。Retro 采用 Attention Residuals 自适应重加权不同深度的贡献，并用 query-conditioned Gated Attention 逐元素调制注意力输出。在 TabArena、TALENT 和 RelArena 上，Retro 均进入前三并位于 Pareto 前沿。
来源：arXiv cs.LG · arxiv.org