arXiv cs.AI· Yu Pan, Guangzhao Yang, Muhammad Huzaifah, Ningjie Bai, Shi Qiu·· 9 小时前AI 评分24
JAL-Turn:面向全双工语音对话的联合声学-语言实时轮次检测建模
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
AI 导读
JAL-Turn 是一个轻量级纯语音轮次检测框架,通过 cross-attention 模块自适应融合预训练声学与语言表征,实现低延迟的 hold/shift 预测。它共享冻结的 ASR 编码器,使轮次检测与语音识别完全并行运行,几乎不增加端到端延迟。在 Easy-Turn、Smart-Turn 及内部日语客服数据集上,JAL-Turn 检测准确率媲美强基线,同时保持更优的实时性能。
来源:arXiv cs.AI · arxiv.org