arXiv cs.LG· Zeyong Zhang, Tung Sum Thomas Kwok, Tengfei Ma, Mengjia Xu·· 1 天前AI 评分22
HEST:用熵训练的双曲探针实现稀疏激活引导
Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
AI 导读
研究者提出 Hyperbolic Entropy Steering(HEST),将隐藏状态嵌入 Poincaré 球,用仅以模型自身 next-token 熵为标签的轻量探针,在熵超过阈值的 token 处沿测地线调整状态。
来源:arXiv cs.LG · arxiv.org