python爬取微博评论(无重复数据)

python爬取微博评论(无重复数据)前言一、整体思路二、获取微博地址1、获取ajax地址2、解析页面中的微博地址3、获取指定用户微博地址三、获取主评论四、获取子评论1、解析子评论2、获取子评论五、主函数调用1、导入相关库2、主函数执行3、结果写在最后 Tip:本文仅供学习与交流,切勿用于非法用途!!! 前言 前段时间微博上关于某日记的评论出现了严重的两极分化,出于好奇的我想对其中的评论以及相关用户做一个简单的分析,于是我在网上找了相关的代码,简单的修改了cookies等参数就Run起来了。 既然没报错!! 我很震惊,从未若此畅快过~ 随后便分析起来,过了一会就发现:事情并不简单,数据是重复的