arXiv cs.CL· Nadhem Zmandar, Mo El-Haj, Paul Rayson·· 4 小时前AI 评分12
基于 Transformer 的长文档金融叙事摘要评估指标对比研究
A Comparative Study of Evaluation Metrics for Long-Document Financial Narrative Summarization with Transformers
AI 导读
研究对多种预训练 Transformer 与抽取技术在英国伦敦证券交易所上市公司年报（平均约 80 页）的 FNS 2020 数据集上进行了摘要方法基准测试，并比较了多种评估指标的表现。作者假设部分指标无法反映真实摘要能力，提出由 ROUGE-2 与 BERTscore 调和平均构成的新指标 BRUGEscore，并对结果进行统计显著性检验及三种损坏方法的对抗分析。
来源：arXiv cs.CL · arxiv.org