互联网程序员都每天刷题嘛 zhihu people zhihu people

互联网程序员都每天刷题嘛zhihu-crawler-people一个简单的分布式知乎爬虫，抓取知乎用户个人信息。使用该爬虫做的数据分析：该爬虫的解析：依赖BeautifulSoup pymongo redis requests安装搭建主机数据库：MongoDB + Redis。搭建代理池修改common.py 18行，配置数据库。如果你设置了权限认证，那么请修改注释部分的认证信息，并去掉注释。 #数据库设置redis_host = 'your_ip' # redis主机地址redis_port = 6379 # redis主机端口# redis_pwd = 'your_password't# redis访问密码mongo_host = 'your_ip' # mongodb主机地址mongo_port = 27017 # mongodb主机端口# mongo_user = 'your_user' # mongodb登陆用户# mongo_pwd = 'your_password' # mongodb用户密码修改ProxyIP.py