基于python分布式爬虫并解决假死的问题
使程序并行化伪代码如下：前些天在某个论坛看到一些很感兴趣的信息，想要将其爬取下来，预估了下规模，想要做的是：将整个论坛的所有文章爬取下来，保存为本地的txt。附上具体子函数如下：上面大概有60多个user_agent，这样就伪装成了60多个浏览器。基本解决了这一问题。等txt中不允许出现的命名，这样就会发生报错。
下载地址
用户评论
