LLM 后训练中的提示词干扰：为何 pass@k 优化会降低 pass@1

针对 pass@k 优化提升 pass@k 却降低 pass@1 的权衡，研究给出了理论刻画：pass@k 策略梯度会因提示词干扰与 pass@1 梯度产生冲突。原因是共享参数耦合了不同提示词，且 pass@k 优化隐式向低成功率提示词重新加权，当这些提示词存在负干扰时，其加权会使 pass@k 更新方向偏离 pass@1 方向。作者在数学推理与代码生成任务上用大语言模型实验验证了该发现。