爬虫—— 多协程

python 是一个脚本语言, 里面编写的代码是从头一行一行的执行,所以一般我们要等到它全部执行完,才能拿到我们要的数据。 一个爬虫爬取大量数据要爬很久,那我们能不能让多个爬虫一起爬取? 爬虫每发起一个请求,都要等服务器返回响应后,才会执行下一步。而很多时候,由于网络不稳定,加上服务器自身也需要响应时间,导致爬虫会浪费大量时间在等待上,这也是爬取大量数据时,爬虫的速度会比较慢的原因。 每台计算机都靠着CPU(中央处理器)干活,单核CPU的计算机在处理多任务时,会出现一个问题:每个任务都要抢占CPU,执行完了一个任务才开启下一个任务。CPU毕竟只有一个,这会让计算机处理的效率很低。 为了解决