跳到正文
arXiv cs.CL· Neeraja Kirtane, Kuan-Hao Huang·· 5 小时前AI 评分26

语言向量引导多语言上下文学习:无需参数更新的推理时干预方法

Language Steering for Multilingual In-Context Learning

AI 导读

研究者提出"语言向量"方法,通过计算平行语料在特定层的平均激活差异,在推理时对模型隐藏状态施加偏移,无需任何参数更新即可提升多语言上下文学习效果。该方法在覆盖19种语言、3个模型和3项任务的实验中均优于英文少样本提示,且向量呈现可解释的语言结构——相近语言形成紧密聚类,跨任务和跨语言迁移效果与语言距离相关。

来源:arXiv cs.CL · arxiv.org