arXiv cs.AI· Zheng Huang, Sansheng Cao, Enpei Zhang, Weikang Qiu, Elynn Chen, Xiang Zhang, Yaoqing Yang, Rex Ying, Dawei Zhou, Yujun Yan·· 3 小时前AI 评分25
研究发现：小世界连接性是 LLM 推理能力的结构标志，SWA 稀疏分配法将 WikiText 困惑度降低最多 20%
Looking Inside LLMs: Small-World Connectivity as a Signature of Reasoning Performance
AI 导读
研究者从注意力头激活相似度构建功能图，发现小世界指数（SWI）越高，LLM 的流体推理表现越好，该相关性在多个模型和训练检查点上一致。基于此提出分层稀疏分配方法 Small-World Allocation（SWA），在六个 LLM 上比竞争策略更好地保留小世界结构与模型性能，WikiText 困惑度最多降低 20%。
来源：arXiv cs.AI · arxiv.org