研究揭示文生图模型仅依赖词义与词序

一项 arXiv 研究显示，基于扩散 Transformer 的文本到图像模型通常只依赖文本表示中两个简单方面：相邻 token 合并为词表示，以及由文本编码器位置嵌入刻画的词序。研究者构造了仅编码单词含义与顺序、不含完整提示词上下文信息的"位置标记词袋"嵌入，发现其引导生成的视觉质量与文本保真度与完整文本嵌入相当，说明复杂语言结构的解码实际由图像模型自身完成。

摘自 arXiv cs.CV

还没有足够的连续观测数据，暂不绘制趋势。