预注册研究：提示优化器损害未评分要求

一项预注册研究测试了 GEPA、MIPROv2 和 TextGrad 三种提示词优化器，发现它们在提升被评分指标的同时，会破坏未被评分的需求。研究在 HotpotQA、SQuAD 2.0 和 IFEval 上按预注册标准统计逐条违规，三者均出现回归。 在 HotpotQA 上，引用有效性的净回归达 10.7 至 41.6 分，而 exact match 反而上升 21 至 34 分。该研究由 Sangdo Han 和 Moonsoo Kim 发表。 这意味着优化器可能以牺牲未被评分的要求为代价换取评分指标的提升，评估提示优化效果时需同时检查未纳入评分的约束。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。