1. 首页
  2. 编程语言
  3. Perl
  4. Nginx反爬虫策略防止UA抓取网站

Nginx反爬虫策略防止UA抓取网站

上传者: 2020-10-04 01:23:37上传 PDF文件 44.48KB 热度 17次
目前网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,为防止网站有可能会被别人爬,通过配置Nginx, 我们可以拦截大部分爬虫
用户评论