提出空承诺检测方法并发布基准

研究者提出"空头承诺"概念，指智能体承诺在当前轮次后执行某项动作，但其工具或运行时无法兑现，这类问题可在单轮对话中检测。在涵盖 293 个后续请求的基准上，8-14B 参数的开源模型在无工具且未说明时失败率达 45.9%，前沿模型失败率为 4.4%。告知模型其运行时可将开源模型失败率降低近一半，代码、提示词与人工标注已开源。

摘自 arXiv cs.CL

还没有足够的连续观测数据，暂不绘制趋势。