arXiv cs.CL· Yuan Xie, Jiaqi Song, Guang Qiu, Xianliang Wang, Ming Lei, Jie Gao, Jie Wu·· 2 小时前AI 评分22
重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系
Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs
AI 导读
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减。为此提出基于能力边界意识的多阶段训练策略，重新设计预训练缓解语音-文本模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段。在中文和英文基准上，该方法仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解模型幻觉。
来源：arXiv cs.CL · arxiv.org