python爬虫分布式获取数据的实例方法

在我们进行卫生大扫除的时候，因为工作任务较多，所以我们会进行分工，每个人负责不同的打扫项目。同样分工合作的理念，在python分布式爬虫中也得到了应用。我们需要给不同的爬虫分配指令，让它们去分头行动获取同一个网站的数据。感兴趣的小伙伴，我们可以通过下面的示例进行解惑。celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1 # C服务器启动worker的命令，它只会执行登录、粉丝和关注抓取任务。然后我们通过命令行或者代码（如下）就能发送所有任务给各个节点执行了