arXiv cs.CV· Jing-Xuan Zhang, Genshun Wan, Jianqing Gao, Jia Pan, Yumei Zhang, Lichen Zhang·· 5 小时前AI 评分22
FLARE：通过跨模态蒸馏与联合人脸-唇部建模学习视觉语音表征
Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
AI 导读
研究者提出 FLARE 视觉语音表征学习框架，以 Whisper 表征为声学教师信号、经随机投影量化器转为离散蒸馏目标，并采用唇部 ROI 与全脸双流架构联合建模。在 LRS2、LRS3 和 WildVSR 上词错误率分别为 11.7%、13.2% 和 34.3%，联合人脸-唇部建模在低分辨率和大幅头部姿态变化下更鲁棒。代码与预训练模型已开源，论文被 NeurIPS 2026 接收。
来源：arXiv cs.CV · arxiv.org