为什么 Graph Transformer 的注意力不集中在同一个 token 上？

研究发现，SOTA 图 Transformer GRIT 在分子图上很少形成 attention sink，且图越大 sink 越少，与 LLM 趋势相反。原因是其门控 logit 评分函数：换成点积后，相同图上的 sink 率从 0.09 升至 0.68。