arXiv cs.LG· Yupeng Yao·2026-10-08 12:00· 6 小时前AI 评分17

轨迹特征能否提升最终层注意力路由？SmolLM3-3B 与 Qwen3.5-4B 上的评估

Evaluating Trajectory Features for Routing Final-Layer Attention

AI 导读

研究评估隐藏状态外推误差、曲率和误差变化能否在不确定性、一步位移、位置与状态投影之外改进注意力路由预测，在冻结的 SmolLM3-3B-Base 和 Qwen3.5-4B-Base 上以相同 20% 因果调用配额测试 100 本 PG-19 留出书籍。

来源：arXiv cs.LG · arxiv.org