article dataset builder:Open Access PDF收集器元数据聚合器和全文输入 源码

开放获取PDF收割机和收料器 Python实用程序,用于有效地收集大型PDF(容错,可恢复,并行下载和提取)的大型Open Access集合,并将其转换为适合文本挖掘和信息检索应用程序的结构化XML。 当前支持的输入: 文件中的DOI列表,每行一个DOI 来自元数据csv输入文件,请参阅下面的CORD-19结果部分,以查看该工具具有比正式数据集更多的全文本和更好的数据质量的功能 文件中PMID的列表,每行一个DOI 文件中的PMC ID列表,每行一个DOI 收获是在合理使用之后进行的(这意味着它涵盖了不可再销售的商品),并且正在利用各种开放获取资源。 因此,收获应导致对全文的接近最佳的发现。 例如,从同一个CORD-19元数据文件中,该工具可以比CORD-19数据集中的可用全文收获多35.5%(140,322篇文章至少包含一个可用全文,而103,587篇文章至少具有一个可用全文)