weiboSpider:新浪微博爬虫用python爬取新浪微博数据 源码

微博蜘蛛 本程序可以连续爬取一个或多个新浪微博用户(如,,)的数据,转换结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。因为内容太多,这里不再重复述,详细内容见。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置Cookie来获取微博访问权限,后面会讲解 。如果不想设置cookie,可以使用,同时功能类似。 爬取结果可写入文件和数据库,具体的写入文件类型如下: txt文件(默认) csv文件(默认) json文件(任选) MySQL数据库(任选) MongoDB数据库(任选) SQLite数据库(任选) 同时支持下