arXiv cs.CL· Zijun Wu, Zhitian Zhang, Hossein Hajimirsadeghi, Nikita Dvornik, Alexander Pashevich·· 3 小时前AI 评分31
LLM 能否调用世界知识进行事件预测?DescribeEvent 基准给出界面设计答案
Can LLMs Access their World Knowledge for Event Prediction?
AI 导读
研究提出 DescribeEvent 基准,包含七个数据集、六个领域约 150K 事件及事件级描述,用于测试 LLM 的事件预测能力。结果显示,能力较强的 LLM 在结合自然语言描述与符号标签后表现显著提升,超过无描述变体及非 LLM 基线,而较弱模型收益有限。作者认为,LLM 的世界知识能否用于事件预测是界面设计问题,事件描述可有效激发模型已编码的知识。
来源:arXiv cs.CL · arxiv.org