研究提出空间归纳头解释多维上下文学习

Kimia Kazemian 等作者提出"空间归纳头"（spatial induction heads），用于解释 Transformer 如何在多维元胞自动机任务中进行上下文学习。 据该研究，空间归纳头是两层 gather-and-match 电路：第一层重建相关的空间邻域，第二层将得到的配置与先前出现的位置匹配，从而解决多维数据序列化后空间邻居被打散的路由问题。作者称已对此电路进行验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。