细说Python爬虫爬取小说

我们爬取的是诗词名句网的三国演义,这个会爬了其余都同理了 (你需要一点css定位基础,因为里面用到了bs4数据解析。不过不会也没事按照我给的格式去做照样可以的) 准备阶段: 我们指定爬取的网站,UA伪装,还有创建了一个本地的fiction.txt文件,待会爬取到的小说写到这里面。(如果你没有bs4,和requests库你需要在你的dos命令行下输入 pip install bs4 回车 pip install requests 回车) from bs4 import BeautifulSoup import requests url = 'http://shicimingju.com/book