热点事件持续更新

新训练策略让2.3B参数ASR媲美SOTA

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

一项 arXiv 研究从熵分配视角重新审视基于大语言模型的语音识别（LLM-based ASR），提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减。作者 Yuan Xie 等据此提出基于能力边界意识的多阶段训练策略：重新设计预训练以缓解语音与文本的模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段。作者称，该方法在中文和英文基准上仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解模型幻觉。

AI 根据报道生成 · 52 分钟前更新

最新进展10月12日 12:00

重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系

报道时间线

沿着报道，了解事件的不同侧面。

10月12日

12:00
arXiv cs.CL
重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减。为此提出基于能力边界意识的多阶段训练策略，重新设计预训练缓解语音-文本模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段。在中文和英文基准上，该方法仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解模型幻觉。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。