Python tornado队列示例-一个并发web爬虫代码分享

Tornado的tornado.queue模块为基于协程的应用程序实现了一个异步生产者/消费者模式的队列。这与python标准库为多线程环境实现的queue模块类似。一个协程执行到yieldqueue.get会暂停，直到队列中有条目。在一个queue内部维护了一个未完成任务的引用计数，每调用一次put操作便会增加引用计数，而调用task_done操作将会减少引用计数。当一个worker从中取出一个url后，它会从对应的页面中解析中所包含的url并将其放入队列，然后调用task_done减少引用计数一次。以上所述，来自Tornado官方网站用户指南的介绍和实例，这位同学进行了简单的翻译，然后把代码拿过来了。时间有些仓促，小编并未进行tornado的安装和对本段代码进行测试，故无结果演示，大家请见谅。