线性注意力Transformer可执行因果结构学习

研究者 Amartya Roy 与 Sayar Karmakar 发表论文称，他们构造了一个固定权重的 Transformer，其前向传播能精确复现连续因果发现方法的一次更新，重复堆叠即可复现完整优化轨迹。 该构造需在更新间保留算法的乘子。实验显示其与参考更新在浮点精度内一致，并在合成数据与七个已发表基准网络上复现了参考求解器的成败。 研究者称，普通注意力模型在相同训练预算下无法可靠执行该更新，也无法迁移到更大的图。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。