Node.js编写爬虫的基本思路及抓取百度图片的实例分享

但是真正写起这个爬虫来，我还是遇到了很多的问题。主要还是 node.js 的异步和回调知识没有完全掌握，导致在写代码的过程中走了很多弯路。模块化对于 node.js 程序是至关重要的，不能像原来写 PHP 那样所有的代码都扔到一个文件里，所以一开始就要分析这个爬虫需要实现的功能，并大致的划分了三个模块。主程序，调用爬虫模块和持久化模块实现完整的爬虫功能另外一点需要注意的是，模块化时尽量慎用全局对象来储存数据，因为可能你这个模块的一个功能还没有结束，这个全局变量已经被修改了。这个东西很难翻译，直译叫控制流（吗）。众所周知，node.js 的核心思想就是异步，但是异步多了就会产生好几层嵌套，代码实在难看。async 提供了很多实用的方法，我在写爬虫时主要用到了