研究称SFT在激活几何中留下可复现特征
热点事件持续更新
研究称SFT在激活几何中留下可复现特征
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Xupeng Chen 等作者发表论文称，监督微调（SFT）会在模型激活几何中留下可复现特征。在 Qwen3-1.7B 的稀疏共激活图上，基座到 SFT 的图位移达 17.8 个成对距离标准差，超过四次独立 LoRA-SFT 运行之间的平均距离；该预注册估计器在 Llama-3.1-8B 上以 Llama-Scope 复现。 作者同时说明，所有频段的图均在同一 GPU 架构上构建，完整协议的适用范围限于一个骨干模型、一种 SFT 配方和通用文本探测状态。 论文还提到，两次 LoRA-SFT 重跑之间的距离超过各自与基座距离的一半，因此模型差异不能简单归因于后训练。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
SFT 在激活几何中留下可复现特征：Qwen3-1.7B 与 Llama-3.1-8B 上的后训练可解释性校准报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AISFT 在激活几何中留下可复现特征：Qwen3-1.7B 与 Llama-3.1-8B 上的后训练可解释性校准
在 Qwen3-1.7B 的稀疏共激活图上，两次 LoRA-SFT 重跑之间的距离超过各自与基座距离的一半，说明模型 diff 不能简单归因于后训练。SFT 留下可复现特征：base→SFT 将图位移 17.8 个成对距离 SD，超出四次独立 LoRA-SFT 运行间平均距离，该预注册估计器在 Llama-3.1-8B 上以 Llama-Scope 复现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。