研究揭示pass@k优化为何降低pass@1
热点事件持续更新
研究揭示pass@k优化为何降低pass@1
1 篇报道1 个报道来源8 小时前更新
先了解这件事
AI 综述
一项新研究对“优化 pass@k 反而降低 pass@1”的现象给出理论解释：pass@k 策略梯度会因提示词干扰与 pass@1 梯度产生冲突。作者 Anas Barakat 等人称，原因是共享参数耦合了不同提示词，且 pass@k 优化会隐式向低成功率提示词重新加权；当这些提示词存在负干扰时，其加权会使 pass@k 的更新方向偏离 pass@1 方向。 作者在数学推理与代码生成任务上用大语言模型实验验证了这一发现。该结论为理论刻画，指出的是 pass@k 优化在特定条件下可能损害 pass@1，而非必然结果。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
LLM 后训练中的提示词干扰：为何 pass@k 优化会降低 pass@1报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.AILLM 后训练中的提示词干扰：为何 pass@k 优化会降低 pass@1
针对 pass@k 优化提升 pass@k 却降低 pass@1 的权衡，研究给出了理论刻画：pass@k 策略梯度会因提示词干扰与 pass@1 梯度产生冲突。原因是共享参数耦合了不同提示词，且 pass@k 优化隐式向低成功率提示词重新加权，当这些提示词存在负干扰时，其加权会使 pass@k 更新方向偏离 pass@1 方向。作者在数学推理与代码生成任务上用大语言模型实验验证了该发现。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。