预注册基准:深度表格生成器未胜简单基线
热点事件观察中
预注册基准:深度表格生成器未胜简单基线
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
一项预注册的规模阶梯基准测试发现,在 8 个公开数据集(训练行数从 200 到 20,000)和 4 个原生小型临床数据集上,CTGAN、TVAE、TabDDPM 等七种生成器中,深度表格生成模型在 24 个(数据集,深度模型)组合里有 23 个在任何训练规模下都未超过最佳平凡基线。 该研究由 Shivam Shrivastava 发布,共完成 2,220 次运行,采用固定 20 次调参预算和 5 个评估种子。预注册中“小规模下深度模型排名不稳定”的预测被证伪:相邻训练规模间的平均 Kendall tau 为 0.806。 全部 2,220 个结果文件、预注册文件及其哈希,以及可由这些文件重新生成每张图和每个数字的代码均已公开。
AI 根据报道生成 · 14 小时前更新
最新进展10月5日 12:00
深度表格生成模型在多大训练规模下不再优于平凡基线?一项基于临床与标准数据集规模阶梯的预注册基准测试报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv stat.ML深度表格生成模型在多大训练规模下不再优于平凡基线?一项基于临床与标准数据集规模阶梯的预注册基准测试
一项预注册基准在 8 个公开数据集(200 至 20,000 训练行)和 4 个原生小型临床数据集上,对 CTGAN、TVAE、TabDDPM 等七种生成器进行了 2,220 次运行。在 24 个(数据集,深度模型)组合中有 23 个,深度模型在任何训练规模下都未超过最佳平凡基线。预注册预测的“小规模下深度模型排名不稳定”被证伪,相邻规模间平均 Kendall tau 为 0.806。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。