Agent 系统工程 09：Agent 的可靠性怎么测？成功率、恢复能力与成本

Agent 可靠性评测需区分 pass@k（k 次至少成功一次）与 pass^k（k 次全部成功）两类指标，前者适合可挑候选的场景，后者衡量重复交付的稳定性。故障恢复应单独建回归集，按故障类型和位置组织用例，不能与自然任务混算统一成功率。成本与延迟须随结果一并记录，包括输入输出 token、工具调用数、实际费用和失败尝试消耗的资源。