跳到正文
arXiv cs.CL· Mohan Shi, Zilai Wang, Natarajan Balaji Shankar, Kaiyuan Zhang, Eray Eren, Abeer Alwan·· 2 小时前AI 评分24

EAVA:通过 Adapters 唤醒编码器,实现 Speech-LLM 的领域自适应微调

Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs

AI 导读

研究者提出 EAVA(Encoder Awakening via Adapters),一种面向 Speech-LLM 语音识别的领域自适应微调方法。该方法先在各编码器层插入轻量 adapter 单独训练,再结合 LLM 上的 LoRA 联合微调全模型。在涵盖儿童与方言语音的三个领域偏移 ASR 数据集上,EAVA 持续优于常规微调及其他基线,取得新的 SOTA 表现。

来源:arXiv cs.CL · arxiv.org