arXiv cs.CL· Ming-Hsiang Hu, Kuan-Tang Huang, Hung-Shin Lee, Berlin Chen·· 5 小时前AI 评分24
GIVE-KWS：用门控视觉证据注入实现噪声鲁棒的示例查询关键词识别
GIVE-KWS: Gated Injection of Visual Evidence for Noise-Robust Query-by-Example Keyword Spotting
AI 导读
GIVE-KWS 通过门控交叉注意力将唇动视觉证据注入查询音频，在 -10 dB 下将未见关键词的 EER 较基准系统降低 72.9%，平均降低 62.8%。研究发现视觉鲁棒性依赖两个条件：携带音素信息的视觉表征，以及注入视觉证据而非缩放音频特征的融合方式。在携带音素的编码器下，注入相比掩码在 -10 dB 下带来 4.0-9.3 dB 的有效 SNR 增益。
来源：arXiv cs.CL · arxiv.org