arXiv stat.ML· Soichiro Kumano·· 5 小时前AI 评分17
对抗训练过的线性 Transformer 是高斯混合模型的最优鲁棒上下文学习器
Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures
AI 导读
一项理论研究证明，在多个高斯混合分类任务上对抗预训练的足够深的线性 Transformer，可通过干净示例的上下文学习，在未见任务上渐近达到鲁棒贝叶斯误差，而标准训练的模型做不到。研究还分析了梯度流下的收敛性、精度与鲁棒性的权衡以及示例复杂度。
来源：arXiv stat.ML · arxiv.org