arXiv cs.CL· Roy Xie, Junlin Wang, Paul Rosu, Chunyuan Deng, Bolun Sun, Zihao Lin, Bhuwan Dhingra·· 2 小时前AI 评分32
LLaMA/Qwen/Mistral 新方法实现动态上下文截断：准确率提升 3.4%，token 减少 1.33 倍
Knowing When to Stop: Efficient Context Processing via Latent Sufficiency Signals
AI 导读
研究者提出动态上下文截断方法，让 LLM 在获取足够任务信息后自行终止处理，通过检测注意力头中的"充分性信号"实现。在六个 QA 数据集（最长 40K token）和 LLaMA/Qwen/Mistral 三个模型家族（1B-70B）上，平均准确率提升 3.4%，token 减少 1.33 倍。该方法在同等 token 压缩率下优于其他上下文效率方案，且大模型可通过提示词展现内在自评估能力。
来源：arXiv cs.CL · arxiv.org