多语言LLM中的Bridge Routing Heads被识别

Seunghan Kim等作者发表论文，称在Llama 3.1 70B和Qwen 2.5 72B两个多语言大模型中识别出Bridge Routing Heads（BRH），即负责多跳推理的内部电路。 论文称，这些BRH的语言专属头集在五种语言间近乎互斥，平均Jaccard相似度仅0.017（Llama 3.1 70B）和0.057（Qwen 2.5 72B），即不同语言使用的路由头几乎不重叠。 该结论来自作者通过三阶段流程所做的识别与验证，针对的是多语言大模型的多跳推理内部机制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。