研究测算LLM代码评测重复运行的方差上限

Yongxi Zhou等作者发表论文，测算LLM代码评测中重复运行的方差分解与精度上限。研究使用16个模型、99道近期LeetCode风格题目，每题2种提示词各跑5次，共15,840次评判运行，采用完全交叉设计，估计方差的两个分量，并回答“重复运行能带来多少收益”这一设计问题。 该研究聚焦于重复运行对评测精度的提升空间，但报道未给出具体数值结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。