arXiv cs.CV· H M Dipu Kabir, Subrota Kumar Mondal, Mohammad Ali Moni·· 4 小时前AI 评分22
面向大语言模型多模态融合的单模态微调与批次增强方法
Batch Augmentation with Unimodal Fine-tuning for Multimodal Fusion of Large Language Models
AI 导读
研究者提出单模态微调加批次增强的多模态融合方法，先微调预训练单模态模型，再用 MLP 头整合输出并以批次增强联合训练。在 FPU23 超声和 UPMC Food-101 数据集上，该方法取得所调研方法中的最佳平均结果，并在 UPMC Food-101 上达到 93.29% 的 SOTA 准确率，视觉用 ViT-L/16、文本用 GPT-2。相关脚本已开源。
来源：arXiv cs.CV · arxiv.org