arXiv cs.AI· Amiri Hayes, Belinda Z Li, Jacob Andreas·· 11 小时前AI 评分36
用程序合成解释注意力：GPT-2、TinyLlama-1.1B 与 Llama-3B 注意力头可被 Python 程序替代
Explaining Attention with Program Synthesis
AI 导读
研究者提出用程序合成近似 Transformer 注意力头行为的方法：先计算注意力矩阵，再让预训练语言模型据此生成 Python 程序，最后按留出输入上的预测效果重排序。
来源：arXiv cs.AI · arxiv.org