跳到正文
热点事件观察中

预注册基准:深度表格生成器未胜简单基线

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

一项预注册的规模阶梯基准测试发现,在 8 个公开数据集(训练行数从 200 到 20,000)和 4 个原生小型临床数据集上,CTGAN、TVAE、TabDDPM 等七种生成器中,深度表格生成模型在 24 个(数据集,深度模型)组合里有 23 个在任何训练规模下都未超过最佳平凡基线。 该研究由 Shivam Shrivastava 发布,共完成 2,220 次运行,采用固定 20 次调参预算和 5 个评估种子。预注册中“小规模下深度模型排名不稳定”的预测被证伪:相邻训练规模间的平均 Kendall tau 为 0.806。 全部 2,220 个结果文件、预注册文件及其哈希,以及可由这些文件重新生成每张图和每个数字的代码均已公开。

AI 根据报道生成 · 14 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv stat.ML
    深度表格生成模型在多大训练规模下不再优于平凡基线?一项基于临床与标准数据集规模阶梯的预注册基准测试

    一项预注册基准在 8 个公开数据集(200 至 20,000 训练行)和 4 个原生小型临床数据集上,对 CTGAN、TVAE、TabDDPM 等七种生成器进行了 2,220 次运行。在 24 个(数据集,深度模型)组合中有 23 个,深度模型在任何训练规模下都未超过最佳平凡基线。预注册预测的“小规模下深度模型排名不稳定”被证伪,相邻规模间平均 Kendall tau 为 0.806。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。