arXiv cs.LG· Ashman Mehra, Bryan Routledge, Jane JaeYeon Pyo, Pierre Jinghong Liang·· 7 小时前AI 评分22
FinGREAT：评估 LLM 在金融图谱引导的检索与类型识别上的表现
FinGREAT: Evaluating LLMs on Financial Graph-guided Retrieval And Typing
AI 导读
FinGREAT 基准评估开放权重 LLM 能否从财务披露文本中抽取并分类复式记账关系证据，测试覆盖 5 个开放权重家族的模型、1,300 份 SEC 10-K Item 7 文件及 26 年跨度，并与 3 个专有模型对比。研究还发布含 483 段文本的人工标注关系分类基准，评测 34 个开放权重和 10 个专有模型，最强开放权重与专有模型准确率分别为 84.1% 和 92.8%。
来源：arXiv cs.LG · arxiv.org