Robots_txt Specifications.pdf
简要介绍Google Robots.txt文档文件，包含谷歌robot.txt协议的改变，基本定义，适用性，文件位置，有效范围和相关事例
下载地址
用户评论
