MeLi_scraper 源码

梅利刮板机 搜刮mercadolibre.com以获得产品数据,并将结果提交到数据库以进行进一步分析。 该分析的目标是确定产品搜索的前n页中不同产品的数量。 安装 要求: docker , docker-compose , Python >= 3.6 设置Python环境后,请执行以下操作: 点安装-r requirements.txt 初始化容器化数据库: docker-compose up -d 用法 可以使用CLI运行Scrapper。 只需将搜索词及其在站点中应查找的页面数作为参数传递即可。 python main.py搜索页数 它是如何工作的? 该过程可以描述如下: 获取前n个搜索页面: 通过对此进行解析,我们生成了包含其标题,URL以及产品是新产品还是二手产品的产品列表。 我们要求(并行)该页面中找到的每个产品url的html。 并行连接的数量是有限的,可以