flume ng+Kafka+Storm+HDFS实时系统组合
大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3.什么是Kafka?4.flume+kafka如何整合?5.使用什么脚本可以查看flume有没有往Kafka传输数据做软件开发的都知道模块化思想,这样设计的原因有两方面:一方面是可以模块化,功能划分更加清晰,从“数据采集--数据接入--流失计算--数据输出
用户评论