跳到正文
arXiv stat.ML· Mijung Park·· 2 小时前AI 评分22

OMA:面向异构模型输出的可优化模型平均集成方法

Optimizable Model Averaging for Ensembling Heterogeneous Model Outputs

AI 导读

研究者提出 Optimizable Model Averaging(OMA),一种黑盒集成方法,为每个候选模型学习一个非负标量权重,在冻结全部模型参数的前提下对预测概率加权平均,从而支持架构不同的模型集成。该方法通过最小化带正则化的预测熵来学习权重,并考察正则化对校准的影响,在部分配置下观察到更低的期望校准误差,性能与校准的权衡优于模型输出平均。

来源:arXiv stat.ML · arxiv.org