研究粒子喷流生成的神经缩放定律

研究首次探索粒子喷流生成任务中是否存在缩放定律，成功复现了模型规模缩放的对数缩放行为。研究发现切片 Wasserstein 距离与下一 token 预测验证损失单调相关，表明该损失是物理性能的良好代理指标。数据集规模和计算量的缩放行为明显较弱，作者通过引入可学习窗口概念分析这一现象，认为喷流成分的自回归预测相比语言模型更快饱和。

摘自 arXiv cs.LG

还没有足够的连续观测数据，暂不绘制趋势。