网站反爬虫策略

只要是发起请求，网站服务器必然要进行响应，要进行响应，必然要消耗服务器的资源。要拒绝爬虫的访问，首先当然要识别出网络访问者中的爬虫程序。Cookie通常用来标识网站访问者的身份，就像是手上的一张临时凭证。并凭着这个凭着与网站服务器进行身份的校对。很遗憾，Cookie是保存在客户端的数据，也可以被修改和伪造。token一般通过网页上的某个密钥加上时间再加上某些数据组合加密而成。但是对于影响网站服务器运行的高频爬虫行为，必须采取措施。网站的所有者必须在网站协议或用户协议里申明，允许正常的浏览、访问和数据获取，对于异常、高频、威胁网站服务器稳定的行为，将保留进一步处理的权利。