1. 首页
  2. 数据库
  3. 其它
  4. ProxyPool:给爬虫使用的代理IP池 源码

ProxyPool:给爬虫使用的代理IP池 源码

上传者: 2021-02-17 03:48:23上传 ZIP文件 896.95KB 热度 28次
代理池 ProxyPool的作用:从网络上获取免费的IP代理数据。先用爬虫程序抓取代理数据,再检查代理是否可用,可用的话就存放到数据库中。每隔重复重复执行这个过程。 ProxyPool的技术:Spring Boot + RxJava2.x + MongoDB等,前端:layUI + jquery等 ProxyPool的概述:该项目有两个模块proxypool和proxypool-web,从网络上抓取数据的核心工作由proxypool模块完成,可以在站点这个程序包下添加针对不同网页的解析类。proxypool-web模块是依赖proxypool模块实现的sample模块。 1.使用方法 单独
用户评论