新方法用嵌入扰动定位LLM推理不确定性

Qihao Wen等作者提出一种基于嵌入向量扰动的度量方法，用于定位大语言模型推理轨迹中的不确定位置。研究发现，不确定的中间续写更易出现在对前序 token 嵌入扰动高度敏感的 token 上。 作者称，实验显示该扰动指标在定位不确定中间步骤上优于基于概率、采样和贝叶斯的方法，且兼具简洁与高效。上述结论来自作者的研究表述，尚未见独立验证。

AI 根据报道生成 · 8 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。