跳到正文
arXiv cs.AI· Ruilin Gong, Hao Gong·· 8 小时前AI 评分31

RUNG:让语言成为视觉的低码率编码,从词到像素的逐级细化

Making Language the Low-Rate Code of Vision: Successive Refinement from Words to Pixels

AI 导读

研究者提出 RUNG,一种有序视觉编码:前缀由字幕摘要阶梯监督,全长重建图像,生成即延长编码、字幕即截断编码。在数据与容量固定下,按语言而非重建排序使前缀-字幕信息量提升 2.9 倍,GenEval 从 0.76 升至 0.83,代价是四分之一码长处 PSNR 下降 2.8 dB、全长仅降 0.1 dB。

来源:arXiv cs.AI · arxiv.org