arXiv cs.CV· Minghao Kong, Deng Yao, Xi Zhang, Ying Gao, Jiurun Chen, Zirong Liu, Rongjie Wang·· 5 小时前AI 评分13
RM-Net：面向局部模态缺失的多模态情感预测可靠性网络
Reliability-Aware Multimodal Sentiment Prediction Under Local Modality Missingness
AI 导读
RM-Net 在 CMU-MOSEI 对齐特征上处理局部模态缺失，保留原始时间位置、用学习 token 表示未观测位置，并输出受观测质量门控的模态强度贡献。融合五个 RM-Net 种子与 LoRA 微调的 BERT 文本专家后，模型在干净输入上 macro-F1 为 0.655，40% 混合缺失下为 0.634，双视图平均比辅助头基线高 0.024。该结果来自开发中检查过的划分，并非盲测。
来源：arXiv cs.CV · arxiv.org