详解Node使用Puppeteer完成一次复杂的爬虫

本文介绍了详解Node使用Puppeteer完成一次复杂的爬虫，分享给大家，具体如下：架构图Puppeteer架构图。最近想要入手一台台式机，笔记本的i5在打开网页和vsc的时候有明显卡顿的情况，因此打算配1台 i7 + GTX1070TI or GTX1080TI的电脑，直接在淘宝上搜需要翻页太多，并且图片太多，脑容量接受不了，因此想爬一些数据，利用图形化分析一下最近价格的走势。因此写了一个用Puppeteer写了一个爬虫爬去相关数据。而Puppeteer能够模拟一个浏览器的运行环境，能够请求网站信息，并运行网站内部的逻辑。比如引入node上的处理函数在浏览器内部执行，将当前页面保存为pdf或者png图片。另外这只是一个面向过程的编程，我们完全可以将它封装为一个类进行操作，这也考察了对ES的OOP理解本文的源代码