arXiv cs.AI· Yu Pan, Tianjiao Zhang, Yang Hou, Xiongfei Wu, Liang Zhang, Yves Le Traon, Lei Ma, Jianjun Zhao·· 9 小时前AI 评分22
TypoCast：用类型学条件训练的多语言语音翻译前端，推理时可丢弃
Conditioned in Training, Dispensable at Inference: Typological Conditioning for Multilingual Speech Translation
AI 导读
TypoCast 是一个按源语言类型学特征（形态类型、语序、语系）而非语言标签做条件的多语言语音翻译前端，仅 228M 可训练参数。在 CVSS-C 上，其法、德、西译英三向平均成绩超过 SOTA 语音到语音翻译系统，并在七语言测试集中每种语言上都优于按语言身份条件的 S2ST-Omni。消融实验显示该条件信号只在训练时起作用：训练时去掉会持续变差，但训练后移除对 BLEU 影响小于 0.2。
来源：arXiv cs.AI · arxiv.org