arXiv stat.ML· Soundouss Messoudi, Youness Mansar·· 5 小时前AI 评分22
System One 模型的校准与风险预算决策
Calibration and Risk-Budgeted Decisions with System One Models
AI 导读
针对 LLM 工作流中允许/阻止、丢弃/保留等二元决策，研究提出在不确定时默认采用保守回退，并控制被赋予效用最大化动作子集中的假遗漏风险。在覆盖审核、安全与重排序的六个数据集上，朴素阈值选择基线在约一半设定中超出目标风险，而 Learn Then Test（LTT）仅为 7.8%。结果表明仅依赖类概率接口不足以支撑部署决策。
来源：arXiv stat.ML · arxiv.org