arXiv stat.ML· Mijung Park·· 2 小时前AI 评分22
OMA:面向异构模型输出的可优化模型平均集成方法
Optimizable Model Averaging for Ensembling Heterogeneous Model Outputs
AI 导读
研究者提出 Optimizable Model Averaging(OMA),一种黑盒集成方法,为每个候选模型学习一个非负标量权重,在冻结全部模型参数的前提下对预测概率加权平均,从而支持架构不同的模型集成。该方法通过最小化带正则化的预测熵来学习权重,并考察正则化对校准的影响,在部分配置下观察到更低的期望校准误差,性能与校准的权衡优于模型输出平均。
来源:arXiv stat.ML · arxiv.org