1. 首页
  2. 大数据
  3. Storm
  4. storm sentiment 基于Storm的与请分析

storm sentiment 基于Storm的与请分析

上传者: 2024-08-08 23:06:32上传 ZIP文件 59.24KB 热度 56次

舆情实时统计计算服务项目基于Java实现。该项目主要服务于舆情实时数据的统计分析。

项目框架

  • storm-parent: jar和插件依赖工程

  • storm-dao: 数据接口层

  • storm-redis: 数据缓存层或消息队列层

  • storm-analysis: 基于Storm的数据分析层

  • storm-web: API接口服务层

  • storm-core: 核心业务层

备注: 框架持续更新中。

项目架构

  • MySQL:用于存储基本爬虫数据

  • Redis:用于数据去重,基本思想是存储每条数据的md5(key),根据该值进行数据插入更新判断

  • Storm:用于提供分布式流式计算服务

常见约束词

  • Item: Value

  • Dao Interface: 接口层

  • Domain: 数据

  • Constant: 常量

  • Util: 工具类

项目涉及的分布式流数据实时计算技术可以通过以下资源深入了解:

用户评论