TADrop:张量级自适应稀疏化模型合并方法
热点事件持续更新
TADrop:张量级自适应稀疏化模型合并方法
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
Yingfeng Luo等研究者提出一种面向模型合并的即插即用稀疏器 TADrop,用尺度不变的分位数比,根据各参数张量的幅度分布独立确定其保留率,以替代统一全局稀疏率。研究者称,统一稀疏率忽略了不同任务与参数张量对剪枝敏感度的差异。 该方法默认无需数据即可运行;当存在小型验证集时,可选做轻量级的模块级校准。相关论文发布于 arXiv cs.AI。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
TADrop:面向模型合并的分布引导张量级自适应稀疏化方法报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv cs.AITADrop:面向模型合并的分布引导张量级自适应稀疏化方法
针对模型合并中统一全局稀疏率忽略任务与参数张量剪枝敏感度差异的问题,研究者提出即插即用稀疏器 TADrop,基于幅度分布用尺度不变分位数比独立确定各张量的保留率,默认无需数据,也可选轻量校准。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。