arXiv stat.ML· Joseph Egan, Ciar\'{a}n M. Gilligan-Lee, Michael O'Riordan, Yuchen Zhu·· 2 小时前AI 评分37
无需监督即可发现并抑制蒸馏中的潜意识学习：一种参数更新层面的防御方法
Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning
AI 导读
研究者提出一种无需知道具体特质标签的无监督方法，仅从参数更新中即可恢复蒸馏过程中潜意识传递的行为特质。该方法利用特质在教师模型生成的多样数据集上表现一致、而任务能力各异的非对称性，估计出权重空间方向，可放大以发现和解释特质，或投影剔除以抑制其表达。
来源：arXiv stat.ML · arxiv.org