1. 首页
  2. 考试认证
  3. 其它
  4. MultithreadedScraper高效多线程Java爬虫工具

MultithreadedScraper高效多线程Java爬虫工具

上传者: 2024-12-20 10:04:39上传 ZIP文件 608.17KB 热度 2次

多线程网络爬虫大家好!我想通过以多线程方式完成爬行任务来加速爬虫任务的执行。这个简短的README将涵盖以下几个方面:如何使用、实施细则、假设条件。

使用Java(已使用JRE 1.6进行测试),您可以使用以下命令开始抓取:

// 第一个参数是URL

// 第二个参数是创建的最大线程数

java -jar /path/to/Scraper.jar http://www.google.com 40

实施细则:让我们快速浏览一下项目结构:

Scraper

└───src

└───Threading: 封装了**Thread**和线程间的通信机制。
下载地址
用户评论