1. 首页
  2. 编程语言
  3. Python
  4. python+selenium爬取微博热搜存入Mysql的实现方法

python+selenium爬取微博热搜存入Mysql的实现方法

上传者: 2022-02-17 03:18:48上传 PDF文件 851.14 KB 热度 19次

最终的效果废话不多少,直接上图这里可以清楚的看到,数据库里包含了日期,内容,和网站link使用的库目标分析这是微博热搜的link:首先我们使用selenium对目标网页进行请求一:得到数据我们看到,使用xpath可以得到51条数据,这就是各热搜,从中我们可以拿到链接和标题内容然后我们再使用zip函数,将date,context,links合并其中date可以使用time模块获得二:链接数据库这个很容易总代码

用户评论