跳到正文
arXiv cs.AI· Pratyay Dutta, Kowshik Thopalli, Vivek Narayanaswamy·· 11 小时前AI 评分36

COMPASS:在语言模型中定位推理发生的位置

COMPASS: Finding Where Reasoning Lives in Language Models

AI 导读

COMPASS 是一种推理时激活引导方法,利用模型自身直接作答的正确性信号构造潜在方向,并通过 logit 空间归因分数定位可有效干预的注意力头。在三个模型家族和多个数学基准上,它平均将 GSM8K 准确率提升 16 个百分点,并以少 20-70% 的生成 token 接近 CoT 准确率,干预无需重新拟合即可迁移到未见基准。

来源:arXiv cs.AI · arxiv.org