新浪微博爬虫Weibo Spider用python爬取新浪微博数据

本程序可以连续爬取一个或多个新浪微博用户如胡歌迪丽热巴郭碧婷的数据并将结果信息写入文件或数据库.写入信息几乎包括用户微博的所有数据包括用户信息和微博信息两大类.因为内容太多这里不再赘述详细内容见获取到的字段.如果只需要用户信息可以通过设置实现只爬取微博用户信息的功能.本程序需设置cookie来获取微博访问权限后面会讲解如何获取cookie.如果不想设置cookie可以使用免cookie版二者功能类似.爬取结果可写入文件和数据库具体的写入文件类型如下txt文件默认csv文件默认json文件可选MySQL数据库可选MongoDB数据库可选SQLite数据库可选同时支持下载微博中的图片和视频具体的可下载文件如下原创微博中的原始图片可选转发微博中的原始图片可选原创微博中的视频可选转发微博中的视频可选原创微博Live Photo中的视频免cookie版特有转发微博Live Photo中的视频免cookie版特有