arXiv cs.LG· Amartya Roy, Sayar Karmakar·· 6 小时前AI 评分24
Transformer 能否执行因果发现？线性注意力机制实现因果结构学习
Executing Causal Structure Learning with Linear-Attention Transformers
AI 导读
研究者构造了一个固定权重的 Transformer，其前向传播能精确复现连续因果发现方法的一次更新，重复堆叠即可复现完整优化轨迹。该构造需在更新间保留算法的乘子，实验显示其与参考更新在浮点精度内一致，并在合成数据与七个已发表基准网络上复现了参考求解器的成败。普通注意力模型在相同训练预算下无法可靠执行该更新或迁移到更大图。
来源：arXiv cs.LG · arxiv.org