爬虫入门之最好大学网–专项学科全国排名爬虫

爬虫目的 抓取专项学科获取该学科在全国各高校的排名情况 获取该学科所在高校在全国的综合排名情况 获取该学科全国范围博士点的数量 获取该学科的重点学科院校情况 根据网址爬取网页 使用最基本的网页爬取通用框架: # url为要爬取的网址,函数返回爬取网址的网页内容 def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text e