Agent 可靠性评测：区分成功率、恢复与成本

JTide_ 在掘金发文介绍 Agent 可靠性评测方法，提出应把成功率、重复执行稳定性、故障恢复和成本分开测。 其中成功率需区分 pass@k（k 次至少成功一次）与 pass^k（k 次全部成功）：前者适合可挑候选的场景，后者衡量重复交付的稳定性。故障恢复应单独建回归集，按故障类型和位置组织用例，不与自然任务混算统一成功率。 成本与延迟须随结果一并记录，包括输入输出 token、工具调用数、实际费用和失败尝试消耗的资源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。