python网络爬虫入门之request.Request

python网络爬虫入门之request.Request urllib.request.Request 作用 创建请求对象,重新构造User-Agent(使其更像是人类正常点击) 什么是User-Agent该如何设置 1.当我们向网站发送请求时所传递的信息见下图(也是反爬的一种) 2.在网页里搜索user-Agent大全里面很多 参数 1.URL:所要请求的URL地址 2.headers:请求头 使用流程 1.构造请求对象(重新构造User-Agent) 2.发送请求获取响应对象(urlopen) 3.获取响应对象内容 代码实现 #导入模块 from urllib import re