研究者提出可完全解释的最小Transformer框架

研究者 Raneem Mahajne 和 Toviah Moldwin 提出一套构建与解读极简 Transformer 的框架，把嵌入维度和注意力头大小都限制为 2，使模型内部表示能在二维平面上完整可视化。 模型在“遇到 '+' 时输出最近出现的偶数”任务上训练后，嵌入、Q/K/V 变换、注意力矩阵、残差流与决策边界均可直接观察，作者据此把学到的几何结构读成一步步算法流程。该框架以论文形式发布在 arXiv cs.LG。 作者称，这一设定使极简 Transformer 的内部机制可被完整解释，但这是其框架在特定任务上的展示，并非对所有 Transformer 模型可解释性的普遍结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。