网络爬虫 – 规则

实例1 京东商品页面的爬取 查看robots协议 robots import requests # from pprint import pprint url = "https://item.jd.com/100009177424.html" try: r = requests.get(url) # print(r.status_code) #HTTP请求的返回状态,200表示连接成功,404表示失败 # print(r.encoding) #从HTTP header中猜测的响应内容编码方式 # print(r.apparent_encoding) #从内容中