arXiv cs.LG· M. Berk Sahin, Ege C. Kaya, Arda Fazla, Behzad Sharif, Abolfazl Hashemi·· 7 小时前AI 评分22
面向状态依赖重尾噪声的鲁棒 Langevin 采样及其在 LLM 微调中的应用
Robust Langevin Sampling under State-Dependent Heavy-Tailed Noise with Applications to LLM Fine-Tuning
AI 导读
研究提出 R-LMC、A-LMC 和 RA-LMC 三种方法，放宽非凸采样对全局 Lipschitz 梯度和有界噪声方差的假设，其中 RA-LMC 通过鲁棒估计与噪声感知步长同时处理广义光滑性和状态依赖重尾噪声，并在 Fisher 信息下给出非渐近收敛保证。在 LLM 与视觉语言模型的贝叶斯微调实验中，RA-LMC 在准确率和不确定性量化上匹配或超越现有基线。
来源：arXiv cs.LG · arxiv.org