robots txt parser:PHP类用于根据规范解析robots.txt文件中的所有指令 源码

robots-txt解析器 —用于解析robots.txt文件的所有指令PHP类 根据robots.txt规则,用于检查PHP类是允许还是禁止url。 尝试在实时域上在线RobotsTxtParser。 解析是根据Google&Yandex规范的规则进行的: 最后改进: 根据clean-param语法解析Clean-param指令。 删除注释(“#”字符之后的所有内容,直到第一个换行符都将被忽略) 主机解析的改进-交集指令,应参考用户代理'*'; 如果有多个主机,则搜索引擎将采用第一个的值。 从该类中删除未使用的方法,完成重构,更正该类的属性范围。 添加了更多的测试用例,以及添