arXiv cs.AI· Xupeng Chen, Chenqian Le, Jiayi Cheng, Runhao Li, Michael Yue·· 8 小时前AI 评分22
SFT 在激活几何中留下可复现特征：Qwen3-1.7B 与 Llama-3.1-8B 上的后训练可解释性校准
SFT Leaves a Reproducible Signature in Activation Geometry: Calibrating Post-Training Interpretability Against Run-to-Run Noise
AI 导读
在 Qwen3-1.7B 的稀疏共激活图上，两次 LoRA-SFT 重跑之间的距离超过各自与基座距离的一半，说明模型 diff 不能简单归因于后训练。SFT 留下可复现特征：base→SFT 将图位移 17.8 个成对距离 SD，超出四次独立 LoRA-SFT 运行间平均距离，该预注册估计器在 Llama-3.1-8B 上以 Llama-Scope 复现。
来源：arXiv cs.AI · arxiv.org