arXiv cs.AI· Mingquan Feng, Yixin Huang, Yifan Fu, Shaobo Wang, Junchi Yan·· 10 小时前AI 评分27
KO：受动力学启发的神经优化器，用 PDE 模拟方法提升参数多样性
KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches
AI 导读
研究者提出 KO（Kinetics-inspired Optimizer），一种基于动力学理论与偏微分方程的可插拔优化模块，通过离散化 Boltzmann 输运方程引入随机交互来增强参数多样性、缓解权重凝聚。理论分析表明 KO 可证明地提升参数多样性并保持收敛保证。在 CIFAR-10/100、ImageNet 图像分类和大规模语言模型预训练中，KO 以可忽略的额外计算成本持续提升准确率。
来源：arXiv cs.AI · arxiv.org