1. 首页
  2. 数据库
  3. 其它
  4. Web Scraper:通过Python进行网页抓取 源码

Web Scraper:通过Python进行网页抓取 源码

上传者: 2021-04-24 10:37:56上传 ZIP文件 7.77MB 热度 11次
网页抓取工具 通过Python和Selenium的Web抓取工具。 Python版本:3.8.7 Selenium版本:3.141.0 使用以下工具进行了测试: 描述 该网络抓取工具用于测试抓取功能。 目的是刮掉在测试URL中找到的所有产品。 模组 main.py 使用此模块运行/测试程序。 线程 线程( self,thread_id,func,args ):初始化线程。 声明线程ID(thread_id)以进行标识。 该自定义类还将函数(func)传递给and和arguments(args)。 run ():调用Thread()。start时,将使用争吵(arg)调用已启动的函数(func)。 scraper.py 抓取工具( url ):使用要抓取的url初始化抓取工具。 声明Scraper()时,将创建一个Selenium Chrome网络驱动程序,并抓取url的内容。 se
用户评论