对抗训练线性Transformer实现最优鲁棒上下文学习

一项理论研究证明，在多个高斯混合分类任务上对抗预训练的足够深的线性 Transformer，可通过干净示例的上下文学习，在未见任务上渐近达到鲁棒贝叶斯误差，而标准训练的模型做不到。研究还分析了梯度流下的收敛性、精度与鲁棒性的权衡以及示例复杂度。

摘自 arXiv stat.ML

还没有足够的连续观测数据，暂不绘制趋势。