ndr2-track-scraper Node.js数据抓取示例
ndr2-track-scraper 是一个演示工具,展示如何通过小组件从网络抓取数据,避免过多冗余代码。其组件包括:
- UrlGenerator:根据模式生成网址
- PageDownloader:下载页面并调用回调处理每个传输的页面
- TracksParser:解析 HTML 文档提取曲目信息,并调用回调处理每个曲目
- TracksService:将数据保存到数据库
示例目录包含两个基本的 map-reduce 函数,用于查看最流行的艺术家和标题。
已知问题:应用在完成工作后不会退出,原因是 mongoose 与 MongoDB 之间存在开放连接。
下载地址
用户评论