跳到正文
arXiv cs.CL· Sangdo Han, Moonsoo Kim·· 2 小时前AI 评分36

提示词优化器会破坏未被评分的需求吗?一项预注册研究

Do Prompt Optimizers Break Requirements They Are Not Scored On? A Preregistered Study

AI 导读

预注册研究将 GEPA、MIPROv2、TextGrad 用于 HotpotQA、SQuAD 2.0 和 IFEval,按预注册标准三者均出现回归:HotpotQA 上引用有效性净回归达 10.7 至 41.6 分,而 exact match 反升 21 至 34 分。

来源:arXiv cs.CL · arxiv.org