frontera web爬虫的可以扩展前沿.zip

frontera, web爬虫的可以扩展前沿 Frontera概述Frontera是一个由爬行前沿插件和分布/缩放原语组成的web爬行框架,允许构建大规模的在线网络爬虫。Frontera负责在抓取过程中遵循的逻辑和策略。 它可以存储和链接爬虫提取的链接来决定接下来访问哪些页面,