信息检索大作业实现scrapy论文网站爬虫

通过调用ArXiv提供的OAI PMH API接口实现爬虫从arXiv上爬取标题作者摘要PDF链接latex文档等信息.爬取PDF链接latex文档时需验证是否可下载并下载一定量的论文以表明爬虫代码具有下载能力.arXiv arxiv├─spiders│init.py│meta.py爬虫文件init.py│items.py定义字段信息│middlewares.py中间件文件│pipelines.py管道持久化文件│settings.py详细的配置文件download files存储下载到本地的文件├─latex存储LaTeX├─pd