无监督方法可从参数更新中恢复蒸馏潜意识特质

研究者 Joseph Egan 等人提出一种无需监督的方法，仅从模型蒸馏的参数更新中即可恢复被潜意识传递的行为特质，不再需要事先知道具体特质标签。 该方法利用一个非对称性：该特质在教师模型生成的多样数据集上表现一致，而任务能力则各不相同，据此估计出权重空间方向。研究者称，沿该方向放大可发现和解释特质，将其投影剔除则可抑制特质表达。 该结果发表于 arXiv stat.ML，属参数更新层面的防御方法，报道未给出其在不同模型或任务上的适用范围。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。