arXiv cs.AI· Longhua Li, Lei Qi, Qi Tian, Xin Geng·· 9 小时前AI 评分22
面向多任务知识聚合的 Essential Subspace 数据感知模型合并
Data-Aware Model Merging in the Essential Subspace for Multi-Task Knowledge Aggregation
AI 导读
研究者提出数据感知的模型合并框架 ESD/ESM，通过代理数据识别每个任务输出偏移能量集中的 essential subspace，并按输出偏移特征值加权任务更新方向、跨任务正交化以降低干扰。ESM++ 进一步动态集成低秩任务专属残差专家实现自适应知识聚合。多任务集与多模型规模实验显示，ESM 与 ESM++ 能有效聚合任务知识并缓解任务间干扰，代码已开源。
来源：arXiv cs.AI · arxiv.org