跳到正文
arXiv cs.AI· Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar·· 10 小时前AI 评分22

CLAS:面向多语言大模型的跨语言激活引导方法

Cross-Lingual Activation Steering for Multilingual Language Models

AI 导读

研究者提出跨语言激活引导(CLAS),一种无需训练、在推理时选择性调节神经元激活的干预方法,用于缩小大模型主导语言与非主导语言之间的性能差距。在分类和生成基准上,CLAS 平均提升 2.3%(Acc.)和 3.4%(F1),同时保持高资源语言性能。研究发现有效迁移依赖功能分化而非严格对齐,性能增益与语言聚类分离度提升相关,该方法无需修改模型权重。

来源:arXiv cs.AI · arxiv.org