geziyor:Geziyor一个用于Go的快速Web爬网和抓取框架。 支持JS渲染 源码

盖兹约尔 Geziyor是一个快速的网络爬网和爬网框架。 它可用于爬网网站并从中提取结构化数据。 Geziyor可用于多种用途,例如数据挖掘,监视和自动测试。 产品特点 JS渲染 5.000+请求/秒 缓存(内存/磁盘/ LevelDB) 自动数据导出(JSON,CSV或自定义) 指标(Prometheus,Expvar或自定义) 限制并发(全局/每个域) 请求延迟(恒定/随机化) Cookies,中间件,robots.txt 对UTF-8的自动响应解码 有关所有自定义设置,请参见刮板。 状态 我们强烈建议您将Goziyor与go模块一起使用。 用法 本示例从quotes.tosc