python扫描proxy并获取可用代理ip的实例

首先呢，我先百度找了一个网站：http://www.xicidaili.com 作为例子这个网站里公布了许多的国内外可用的代理的ip和端口我们还是按照老样子进行分析，就先把所有国内的proxy扫一遍吧点开国内部分进行审查发现，国内proxy和目录为以下url：http://www.xicidaili.com/nn/x这个x差不多两千多页，那么看来又要线程处理了。。。老样子，我们尝试是否能直接以最简单的requests.get()获取内容返回503，那么我们加一个简单的headers返回200，成咯好了我们先进行网页内容分析并获取想要的内容我们发现，包含ip信息的内容在标签内，于是我们就