arXiv cs.CV· Juntong Li, Lingwei Dang, Haomin Wu, Ziyan Qiu, Qingxin Xiao, Qingyao Wu·· 10 小时前AI 评分22
SALM：通过结构感知隐空间掩码建模解锁 CLIP 细粒度感知能力
Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling
AI 导读
研究者提出 SALM，一种基于结构感知隐空间掩码建模的无监督嵌入对齐框架，无需任何图文对即可增强 CLIP 的细粒度感知能力。SALM 通过双矩阵对齐策略显式校准样本内空间相关性与激活强度，并设计隐空间掩码建模机制隐式聚合细粒度结构；基于 CLIP 浅层特征具备强空间观测能力的发现，进一步扩展出高效自蒸馏范式 SALM-Self。
来源：arXiv cs.CV · arxiv.org