robots.txt:robots.txt即服务。 抓取robots.txt文件下载并解析它们以通过API检查规则 源码

:robot: robots.txt即服务 :robot: :construction: 开发中的项目 通过API访问权限的分布式robots.txt解析器和规则检查器。 如果您正在使用分布式Web爬网程序,并且想要礼貌行事,那么您会发现此项目非常有用。 另外,该项目可用于集成到任何SEO工具中,以检查机器人是否正确索引了内容。 对于第一个版本,我们正在尝试遵守Google用于分析网站的规范。 你可以看到它。 期待其他机器人规格的支持! 为什么要这个项目? 如果您要构建分布式Web搜寻器,则要知道从网站管理robots.txt规则是一项艰巨的任务,并且以可扩展的方式进行维护可能会很复杂。