ZhihuSpider:知乎用户公开个人信息爬虫能够爬取用户关注关系基于Python使用代理多线程 源码

Python知乎用户信息爬虫 特色 除了爬取用户信息外,还可以选择爬取用户之间的关注关系 使用多线程爬取,并可以自行配置使用的线程数 使用Redis作为任务价值 使用高匿代理IP进行数据的爬取,并重新后会重新分配新的可用代理,避免重新访问导致本机IP被封 可以启用邮件定时通知功能 运行要求 Python版本:3.0以上 数据库:MySQL,Redis 使用到的库 项目中使用到的Python第三方库如下: 第三方库: 请求-一个非常好用的请求库, //docs.python-requests.org/en/master/ pymysql——python与MySQL连接, Beautifu