自然爬行者 源码

自然爬行者 该脚本描述了一个定制的搜寻器,用于收集在“ ”中发布的文章的信息。 具体来说,标题,通讯作者和文章主题是您感兴趣的。 需求 要运行此文件,要求用户安装python == 3.8.5和scrapy == 2.4.1。 软件包的摘要添加到文件“ requirement.txt”中 指令 在根目录中,用户可以在外壳程序中运行脚本scrapy crawl nature -O URLs.json来使用名为“ nature”的搜寻器,并按照深度优先搜索的方法收集文章的URL。 用户可以通过按绑定键ctrl + C停止爬网。 抓取的URL将存储在“ URLs.json”文件中。 接下来,用户