arXiv cs.AI· Zhengyang Luo, Xiaoyu Qiu, Zhiheng Tan, Yuchen Liang, Yingbin Liang, Liyue Shen·· 8 小时前AI 评分26
统一 VLM 内部机制解析：从注意力探测到 HeadTuned-CFG 引导微调
Understanding Unified VLMs: From Attention Probing to Guidance Tuning for Multimodal Generation
AI 导读
研究通过探测注意力头发现，统一 VLM 在 T2I 与 I2T 生成中均存在对条件变化敏感与不敏感的两类注意力头，该功能分化模式跨数据样本稳定。基于此提出免训练推理干预方法 HeadTuned-CFG，在注意力头级别选择并调节条件引导，在自回归与掩码扩散两类统一 VLM 的双向多模态生成上均取得一致提升，T2I 生成显著优于强基线。
来源：arXiv cs.AI · arxiv.org