可以发现在div class ="one_entity"中存在页面中分别对应每一个问题三.代码实现首先导入requests和BeautifulSoup由于很多网站定义了反爬策略,所以进行伪装一下在这里User-Agent只是其中的一种方式,而且大家的User-Agent可能不同。爬取数据main代码注意一下这里,由于我们需要的是多张页面的数据,所以在发送请求的url中我们就要针对不同的页面发送请求,将所有的h2数组拿到,进行遍历,通过取出h2中a标签中的文本,并将每取出来的文本写入到文件中,由于要遍历多次,所以保存文件在上面的代码中。