arXiv cs.CL· Jhen-Ke Lin, Chung Chun Wang·· 6 小时前AI 评分31
StreamDecisionBench:评估语言模型在动态语言流上的实时决策能力
StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams
AI 导读
研究者发布 StreamDecisionBench(SDB),涵盖四大应用家族的八个流式场景,并提出 in-force accuracy 指标,衡量 0.5-8 秒更新间隔内所应用决策的正确时间占比。
来源:arXiv cs.CL · arxiv.org