百万知乎用户数据分析这是一个多线程抓取知乎用户的程序Requirements

数据统计分析百万知乎用户数据分析这是一个多线程抓取知乎用户的程序Requirements需要用到的包beautifulsoup4html5lib image requests redisPyMySQL pip安装所有依赖包pip install Image requests beautifulsoup4html5lib redisPyMySQL运行环境需要支持中文测试运行环境python3.5不保证其他运行环境能完美运行1.需要安装mysql和redis2.配置config.ini文件设置好mysql和redis并且填写你的知乎帐号master分支新版爬虫不需要登陆但是可能会有时效问题可以切换至new ui分支使用可以通过配置config.ini文件下的sys sleep time控制爬虫速度尽量使用推荐值过快容易被知乎封禁thread num配置线程数目3.向数据库导入init.sql Run开始抓取数据python get user.py查看抓取数量python check redis.py