模型合并再审视：重新思考任务算术带来的隐式正则化

研究发现，模型合并中通过额外数据集搜索任务权重更新线性组合系数的标准做法，会引入一种隐式正则化，将候选模型限制在任务权重更新张成的子空间内。实验表明，去掉这一正则化直接优化合并模型权重，可在多种架构和领域显著提升常见合并方法的表现，甚至在每类仅一个样本的极端数据受限场景下依然有效；直接优化预训练模型权重也能超越部分现有合并方法。