python urllib.request模块的使用详解

python的urllib模块提供了一系列操作url的功能，可以让我们通过url打开任意资源。其中比较常用的就是request模块，本篇主要介绍requset模块。robots.txt是一种存放于网站根目录下文本文件，用来告诉网络爬虫服务器上的那些文件可以被查看。又被成为robots协议，是一种约定俗成的协议。request模块function request.urlopen()urlopen方法用来打开资源url，常用带参数形式urlopen，url：资源url，data：携带的数据。方法的返回值始终为一个对象，并可以调用相应的方法获取返回的信息。我们启动一个项目并添加一个拦截器当访问index.html的时候重定向到/ls/html/list.html页面,geturl获取的是重定向后的页面3.info() 返回页面的元信息；4.getcode() 返回页面的状态码；class request.Requesturl请求类 Request