视觉语言模型 logits 会泄露哪些图像信息？arXiv 新研究首次系统比较不同表征层级

一项 arXiv 研究以视觉语言模型为测试平台，首次系统比较了残差流经 tuned lens 低维投影和最终 top-k logits 两个瓶颈后保留的信息。结果显示，模型 top logit 值这类易获取的瓶颈同样会泄露图像查询中与任务无关的信息，某些情况下泄露量堪比直接投影完整残差流。