Python爬取腾讯视频评论的思路详解

以后大部分爬虫，都会先使用抓包技术，分析出规律！fiddler如何抓包，这个知识点，需要读者自行去学习，不在本博客讨论范围。把上面两张图里面的内容对比一下，可以知道这个JS就是评论存放页面。我们复制这个JS的url：右击 > copy > Just Url大家可以重复操作几次，多找几个JS的url，从url得出规律。下图是我刷新了4次得到的JS的url：根据上图，我们发现url不同的地方有两处：一是cursor=？我们很快就能发现 _=？的规律，它是从1576567187273加1。我们需要有的大胆想法――会不会这个cursor=?我们就采用第二种方法，去js里面找。复制其中一个url为：去浏览器里面打开，在里面搜索一下此url的下一个url的cursor=？