arXiv cs.LG· Qihao Wen, Jiahao Wang, Yang Nan, Pengfei He, Ravi Tandon, Han Xu·· 5 小时前AI 评分26
通过嵌入向量扰动定位 LLM 推理中的不确定性
Uncertainty Localization in LLM Reasoning via Embedding Perturbations
AI 导读
一项研究提出用嵌入向量扰动指标定位 LLM 推理轨迹中的不确定位置,发现不确定的中间续写更易出现在对前序 token 嵌入扰动高度敏感的 token 上。实验显示,该扰动指标在定位不确定中间步骤上优于基于概率、采样和贝叶斯的方法,且兼具简洁与高效。
来源:arXiv cs.LG · arxiv.org