Airbnb Scraping 源码

Airbnb抓取 使用puppeteer用JS编写的脚本,该脚本将抓取Airbnb列表,以返回名称,类型,卧室数量和浴室数量。 运行脚本并验证输出的步骤: 拉下仓库并运行npm install 运行节点app.js 在控制台上查看列表的抓取进度。 打开生成的scrapedListing.json文件以查看抓取的数据。 我仍然想做什么 进一步研究使用JS进行最佳刮削优化。 使用puppeteer进行优化,当前等待选择器似乎会花费很多时间,我觉得必须有更好的方法来做到这一点。 改进在拉动信息时对当前数据使用的DOM操作,使其更加健壮和可靠。 检索已请求的便利设施列表,由于几个小时的时间限制,当前已将其保留。 我可以拉出所有便利设施,但不能确定哪些设施不可用,因此我决定不列出文具要比此时列出不正确/不可用的设施要好。 在脚本周围添加一些测试以改善超时并尝试/捕获错误处理。 围