arXiv cs.AI· Hashmath Shaik, Gnaneswar Villuri, Alex Doboli·· 9 小时前AI 评分22
能否预测 LLM 评审的位置翻转？基于残差流激活的线性探针研究
Will the Judge Flip? Predicting Position-Sensitive LLM Judgments from Residual Stream Activations
AI 导读
研究发现，LLM 评审在候选回答顺序调换时可能改变判定，而判定前的残差流激活可预测这种位置翻转。在 JudgeBench 的 534 对样本上，针对三个 Qwen3 评审和 Llama-3.1-8B 训练的线性探针 AUROC 达 .621-.850，比结合语言化置信度、判定标签 logits、回答长度和初始选择的基线高 .062-.113。
来源：arXiv cs.AI · arxiv.org