跳到正文
arXiv cs.LG· Zeyong Zhang, Tung Sum Thomas Kwok, Tengfei Ma, Mengjia Xu·· 1 天前AI 评分22

HEST:用熵训练的双曲探针实现稀疏激活引导

Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

AI 导读

研究者提出 Hyperbolic Entropy Steering(HEST),将隐藏状态嵌入 Poincaré 球,用仅以模型自身 next-token 熵为标签的轻量探针,在熵超过阈值的 token 处沿测地线调整状态。

来源:arXiv cs.LG · arxiv.org