arXiv cs.CL· Jun Zhao, Leiming Fu, Yanbo Wen, Yiding Wang, Xuantong Liu, Yang Shu, Yuyang Lu, Xuanran Xing, Jingqi Tong, Hao Xu, Qi Zhang, Xuanjing Huang·· 4 小时前AI 评分24
LiveMACE：在动态市场中过程感知地评估 LLM 智能体能力
LiveMACE: Process-Aware Evaluation of LLM Agent Capabilities in Evolving Markets
AI 导读
研究者推出 LiveMACEBench，一个以实时金融市场为动态测试床、面向持久 LLM 智能体的过程感知基准。五款前沿 LLM 在 Tool Use、Persistent Memory、Rule Following 和 Multi-Agent Collaboration 配置下连续运行 30 天，结果显示实际收益常与能力测量结果背离，相似结果可能来自截然不同的机制使用模式。
来源：arXiv cs.CL · arxiv.org