arXiv cs.LG· Kimia Kazemian, Menghan Xu, John Thickstun, Sarah Dean·· 6 小时前AI 评分22
空间归纳头：Transformer 如何上下文学习多维元胞自动机
Spatial Induction Heads: In-Context Learning of Multidimensional Cellular Automata
AI 导读
研究提出"空间归纳头"（spatial induction heads），即两层 gather-and-match 电路：第一层重建相关空间邻域，第二层将配置与先前出现位置匹配，从而解决多维数据序列化后空间邻居被打散的路由问题。
来源：arXiv cs.LG · arxiv.org