weibospider:适用于微博的分布式爬虫使用芹菜和请求进行构建 源码

项目亮点 :white_medium_star: 功能全面:包括了用户信息抓取,指定关键字搜索结果增量抓取,指定用户主页所有原始微博抓取,评论抓取和转发关系抓取等 数据全面: PC端展现出的数据量比移动端更加丰富。并且在其他类别同类项目对微博的简单分析,本项目做精细细致的工作,比如不同domain不同用户的解析策略,不同domain不同用户的主页分析策略等 稳定!项目可以长期稳定运行。 为了保证程序能长期稳定运行,数据所有的网络请求都是通过抓包手动分析的,未使用任何自动化工具,包括模拟登陆!从另一个方面来讲,抓取速度也是比较有保证的 通过合理的阈值设定,账号可以保证安全。但是不推荐用户使用自己的常用账号 即使账号不可用或登陆失败,项目都必须进行处理(智能冻结账号,出错重试等),以保证每次请求都是有效的,并及时把错误反馈给用户 通过大量的异常检测和处理,几乎捕获了所有的解析和抓取异常。编写的解析代码来获取足够全面的信息 项目很