python爬虫HTTPError 和 AttributeError错误及改进措施

爬虫的时候很容易发生错误,为了避免因为某几个网页错误影响所有网页的爬取,在代码中加入错误检测机制是很有必要的 HTTPError html = urlopen("http://www.pythonscraping.com/pages/page1.html") 运行以上代码主要会发生两种异常: 网页在服务器上不存在(或者获取页面的时候出现错误) 服务器不存在 这两种错误,urlopen都会抛出HTTPError异常。可以用以下方式处理: try: html = urlopen("http://www.pythonscraping.com/pages/page1.html") except H