wcep mds dataset 源码

WCEP数据集 概述 用于多文档摘要(MDS)的WCEP数据集由从(WCEP)获得的有关新闻事件的简短的,人工编写的摘要组成,每个摘要都与与事件相关的新闻文章集群配对。 这些文章由WCEP编辑引用的来源组成,并使用从自动获得的文章进行了扩展。 有关数据集和实验的更多信息,请查阅Wikipedia Current Events Portal中的ACL 2020论文:大规模多文档摘要数据集。 (,) Colab笔记本 你可以用这个笔记本来 下载并检查数据集 运行提取基准和预言 评估总结 否则,请查看以下说明。 下载数据集 更新6.10.20: 加载数据集 我们以gzip jsonl格式存储数据集,其中每行对应于一个新闻事件,该新闻事件与摘要和一组新闻文章以及一些元数据(例如日期和类别)相关联。 摘要任务是从新闻文章中生成摘要。 import json , gzip def read_jso