arXiv cs.LG· Amrut Nadgir, Pratik Chaudhari, Vijay Balasubramanian·· 6 小时前AI 评分26
模式识别与逐步推理:LLM 推理的 De Bruijn 图视角
The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning
AI 导读
研究提出模式识别与逐步推理是同一谱系的两端:当下一 token 仅依赖少量前文时 LLM 学会逐步推理,依赖大量前文时则近似模式识别。微调 Qwen2.5-1.5B-Instruct 显示,高频状态(小 c)准确率更高但对测试扰动更脆弱,中等状态密度可平衡准确率与鲁棒性。
来源:arXiv cs.LG · arxiv.org