arXiv cs.LG· Jingtong Dou, Chuancheng Shi, Wenhua Wu, Wei Bao, Fei Shen, Zhiyong Wang, Tat-Seng Chua·· 7 小时前AI 评分24
SuperAI：跨异构基础模型的能力融合框架
SuperAI: Merging Capabilities Across Heterogeneous Foundation Models
AI 导读
SuperAI 是一个跨架构多模型融合框架，通过正交对齐低维任务相关表示，将多个源模型的互补能力注入宿主模型。该方法先用 PCA 构建同维功能子空间，再以正交 Procrustes 映射对齐坐标系统，最后训练轻量残差 MLP 注入输入相关的残差增量。在 3 个宿主模型、15 个能力域上的实验显示，其平均域得分高于所评估的跨架构融合方法，且随源模型数量增加能更好地保留通用能力。
来源：arXiv cs.LG · arxiv.org