跳到正文
热点事件持续更新

LapMerge:线性时间精确预算 Token 合并算子

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Magdalena Trędowicz 等作者发布论文,提出可微分 Token 合并算子 LapMerge。该算子面向有序序列,用一个学习到的质量分布,在 Laplace 核密度下把序列划分为恰好 N 个等质量段,再通过前缀/后缀扫描聚合每段,使前向与反向传播均为 O(M+N) 线性时间。 据论文,LapMerge 在视觉与视觉语言任务上匹配或优于强 Token 压缩器,长序列下最高快两个数量级,且调整预算无需改变算子参数。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.CV
    LapMerge:线性时间内的可微分精确预算 Token 合并

    LapMerge 是一种面向有序序列的可微分 Token 合并算子,通过 Laplace 核密度学习质量分布,将序列划分为恰好 N 个等质量段,前向与反向传播均为 O(M+N) 线性时间。它在视觉与视觉语言任务上匹配或优于强 Token 压缩器,长序列下最高快两个数量级,且预算可在不改变算子参数的情况下调整。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。