一个获取知乎用户主页信息的多线程Python爬虫程序

爬虫python入门个获取知乎用户主页信息的多线程Python爬虫程序.简介使用Requests http www.python requests.org en master模拟HTTP请求响应Beautiful Soup4https www.crummy.com software BeautifulSoup提取页面信息.使用Python内置的Thread多线程和IP代理提升爬取速度并绕过知乎的反爬虫机制.使用Python内置的query作为消息队列.用csv文件存储数据.环境依赖beautifulsoup4requests使用方法在项目路径下输入以安装需要的模块shell pip install r requirments.txt打开proxy.py文件在处填写代理隧道验证信息python代理隧道验证信息proxyUser proxyPass笔者使用一个IP代理隧道若需要使用普通IP代理