storm sentiment 基于Storm的与请分析
舆情实时统计计算服务项目基于Java实现。该项目主要服务于舆情实时数据的统计分析。
项目框架:
-
storm-parent: jar和插件依赖工程
-
storm-dao: 数据接口层
-
storm-redis: 数据缓存层或消息队列层
-
storm-analysis: 基于Storm的数据分析层
-
storm-web: API接口服务层
-
storm-core: 核心业务层
备注: 框架持续更新中。
项目架构:
-
MySQL:用于存储基本爬虫数据
-
Redis:用于数据去重,基本思想是存储每条数据的md5(key),根据该值进行数据插入更新判断
-
Storm:用于提供分布式流式计算服务
常见约束词:
-
Item: Value
-
Dao Interface: 接口层
-
Domain: 数据
-
Constant: 常量
-
Util: 工具类
项目涉及的分布式流数据实时计算技术可以通过以下资源深入了解:
用户评论