1. 首页
  2. 编程语言
  3. C
  4. ndr2-track-scraper Node.js数据抓取示例

ndr2-track-scraper Node.js数据抓取示例

上传者: 2024-12-27 14:39:01上传 ZIP文件 2.78MB 热度 2次

ndr2-track-scraper 是一个演示工具,展示如何通过小组件从网络抓取数据,避免过多冗余代码。其组件包括:

  • UrlGenerator:根据模式生成网址
  • PageDownloader:下载页面并调用回调处理每个传输的页面
  • TracksParser:解析 HTML 文档提取曲目信息,并调用回调处理每个曲目
  • TracksService:将数据保存到数据库
    示例目录包含两个基本的 map-reduce 函数,用于查看最流行的艺术家和标题。
    已知问题:应用在完成工作后不会退出,原因是 mongoose 与 MongoDB 之间存在开放连接。
下载地址
用户评论