python应用之爬虫实战 爬虫基本原理

爬虫:把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,沿着蜘蛛网抓取自己想要的猎物/数据, 爬虫实质是向网站发起请求,获取资源后分析并提取有用数据的程序世界上80%的爬虫是基于Python开发的,学好爬虫技能,可为后续的大数据分析、挖掘、机器学习等提供重要的数据源爬虫是是一种按照一定的规则,自动地抓取web信息(网页信息)的程序或者脚本。为什么程序可以抓取网页的信息呢?这就要从我们如何得到一个网页说起,我们获取网页其实是通过浏览器访问网站获取网页信息,在本质上,是通过浏览器向网页后台