python实现网络爬虫

网络爬虫，就是抓取网页数据的程序。网络爬虫的实现流程包括三个部分：获取网页、解析网页、存储数据。首先通过Requests库向指定的URL地址发送HTTP请求，从而把整个网页的数据爬取下来，接着通过BeautifulSoup模块对页面数据进行解析并对目标数据进行定位，从而将需要的信息抽取出来，最后通过文件操作将数据存储到指定的文本文件中。