Python爬虫之Spider类用法简单介绍

一、网络爬虫 网络爬虫又被称为网络蜘蛛(:spider_selector:),我们可以把互联网想象成一个蜘蛛网,每一个网站都是一个节点,我们可以使用一只蜘蛛去各个网页抓取我们想要的资源。举一个最简单的例子,你在百度和谷歌中输入‘Python’,会有大量和Python相关的网页被检索出来,百度和谷歌是如何从海量的网页中检索出你想要的资源,他们靠的就是派出大量蜘蛛去网页上爬取,检索关键字,建立索引数据库,经过复杂的排序算法,结果按照搜索关键字相关度的高低展现给你。 千里之行,始于足下,我们从最基础的开始学习如何写一个网络爬虫,实现语言使用Python。 二、Python如何访问互联网 想要写网络爬