crawlBaiduWenku:这可能是爬百度文库最全的项目了 源码
爬取百度文库 需求是发明之母 想下载文件又不想花钱和积分 如果你和我有一样的想法就往下看,只要几分钟就可以看完,从今以后可以白嫖99%的文库了 使用方法 1.下载本文档(当然也可以选择不下载) git clone 2.安装依赖项(如果这些库你都有,也可以不安装) 先用cmd切换到requirements.txt路径 pip安装-r -r required.txt 3.下载PhantomJS(本文档自带) 然后将其添加到环境变量,新手 因为selenium高版本不支持PhantomJS了,所以我们这里选择安装低版本的selenium 4.运行crawlBaiduWenku.py文件 此时你就会得到你想要的(大概率是可行的),要是爬取的不太理想,请继续阅读 使用说明(若是不想看文字,可以直接看示例文件夹内的实例,或者直接看各文件的作用) 爬TXT文件,爬取效果最好,可以选择可以使用
用户评论