Python爬虫进阶之爬取篮球赛数据

相信很多人都喜欢打篮球, 并且对自己喜欢的球星的比赛数据都很关注,于是我就想着去爬取篮球网站的数据。但是相对来说爬取一个数据也没啥挑战性,于是我又赶着学习了xlsxwriter模块,将爬取的的数据放入表格并制作折线图。 第一步 robots协议 对于学习爬虫的小白来说一定要注意robots协议,也称为爬虫协议,机器人协议等,一般网站都会通过该协议告诉搜索引擎哪些页面可以爬取或不可以爬取。 首先我们在要爬取网站url后面加上robots.txt, 虽然对于robots协议还不太懂,但大概知道我要爬取的内容是可以的。 第二步 分析网站 可以看到,这就是一个单纯的静态网页,那要爬取东西就简单多了。