跳到正文
热点事件持续更新

GIST:用生成器状态改进表格基础模型监督

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

研究者提出一种名为 GIST 的监督方法,用于训练表格基础模型(TFM)。该方法针对预训练中直接使用采样硬查询标签会带来采样变异的问题,改用生成器的中间状态,在条件标签分布上对查询损失取平均。 在匹配预训练计划的实验中,GIST 在 TabArena 和 TALENT 两个基准上提升了三种架构的平均排名,且不改变模型架构与推理过程。在成对数据集级比较中,GIST 相对硬标签对照组的胜率为 62.1%。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.LG
    GIST:面向表格基础模型的生成器状态引导监督

    针对基于先验数据拟合网络的表格基础模型(TFM)预训练中使用采样硬查询标签带来采样变异的问题,研究者提出生成器状态引导监督方法 GIST,利用中间生成器状态在条件标签分布上对查询损失取平均。在匹配预训练计划下,GIST 在 TabArena 和 TALENT 上提升了三种架构的平均排名,且不改变架构与推理。在成对数据集级比较中,GIST 相对硬标签对照组胜率达 62.1%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。