跳到正文
热点事件观察中

DASC:按衰减时程压缩线性注意力状态

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究者提出衰减感知状态压缩(DASC),用于缓解混合线性注意力模型推理时循环状态检查点占用显存过大的问题。该方法依据 Gated DeltaNet(GDN)与 Kimi Delta Attention(KDA)不同头和通道的“保留时程”差异,从模型权重中推导保留时程,筛选出长时程状态单元,将其打包为不规则(ragged)检查点布局,并在 TP rank 之间做均衡。 该论文由 Yanqi Yu 等作者提交至 arXiv cs.AI,属方法提出阶段,报道未给出实测的显存节省幅度或推理性能数据。

AI 根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv cs.AI
    DASC:面向混合线性注意力推理的衰减感知状态压缩

    针对混合线性注意力模型中循环状态检查点占用显存过大的问题,研究者提出衰减感知状态压缩(DASC),依据 Gated DeltaNet(GDN)与 Kimi Delta Attention(KDA)不同头和通道的"保留时程"差异,筛选长时程状态单元并打包为不规则检查点布局,同时在 TP rank 间做均衡。

本事件热度走势

可比范围当前
4
可比范围峰值
1010月12日 13:00
近 24 小时变化
-51%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。