1. 首页
  2. 编程语言
  3. Python
  4. python实现爬虫统计学校BBS男女比例之多线程爬虫(二)

python实现爬虫统计学校BBS男女比例之多线程爬虫(二)

上传者: 2021-04-30 21:06:25上传 PDF文件 125.35 KB 热度 11次

接着第一篇继续学习。正确数据:id、性别、活动时间三者都有放在这个文件里file1 = 'ruisi\\correct%s-%s.txt' % 数据格式为293001 男 2015-5-1 19:17. 其中要考虑到断网或者BBS服务器故障的情况。下面这段代码借鉴了以前项目组的实现方法,Popen可以调用系统cmd命令。下面3个communicate()连在一起表示要等这3个线程都结束。我们发现一次线程爬取1000个用户耗时的时间也需要1500s,而多线程程序是3*1000个用户耗时1500s。故多线程确实能比单线程省很多时间。

下载地址
用户评论