node 使用 async 控制并发的方法
建立一个 lesson5 项目,在其中编写代码。代码的入口是 app.js,当调用 node app.js 时,它会输出 CNode(注意:与上节课不同,并发连接数需要控制在 5 个。用 async 来做这件事很简单。这次我们要介绍的是 async 的 这回我就不带大家爬网站了,我们来专注知识点:并发连接数控制。对了,还有个问题是,什么时候用 eventproxy,什么时候使用 async 呢?大部分场景是前者,所以我个人大部分时间是用 eventproxy 的。我们接着来伪造一组链接这组链接的长这样:接着,我们使用 async.mapLimit 来并发抓取,并获取结果。当其中有任务完成时,再继续抓取。并发连接数始终控制在 5 个。
下载地址
用户评论