研究：图Transformer注意力汇少源于评分函数
热点事件持续更新
研究：图Transformer注意力汇少源于评分函数
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
一项 arXiv 论文发现，SOTA 图 Transformer 模型 GRIT 在分子图上很少形成 attention sink（注意力汇），且图越大 sink 越少，与大型语言模型中的趋势相反。作者 Alexandre Bismuth 称，注意力评分函数是主要原因：GRIT 使用门控 logit 评分函数，若换成点积，相同图上的 sink 率从 0.09 升至 0.68。 该结论基于分子图实验，说明图 Transformer 的注意力分布行为与 LLM 存在差异，评分函数的选择直接影响 sink 是否出现。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
为什么 Graph Transformer 的注意力不集中在同一个 token 上？报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.LG为什么 Graph Transformer 的注意力不集中在同一个 token 上？
研究发现，SOTA 图 Transformer GRIT 在分子图上很少形成 attention sink，且图越大 sink 越少，与 LLM 趋势相反。原因是其门控 logit 评分函数：换成点积后，相同图上的 sink 率从 0.09 升至 0.68。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。