storm读书笔记 storm运行流程

本文来自于csdn,本文简要通过storm和Hadoop各角色对比,介绍了storm的运行流程,希望对您的学习有帮助。一、storm是一个用于实时流式计算的分布式计算引擎,弥补了Hadoop在实时计算方面的不足(Hadoop在本质上是一个批处理系统)。二、storm在实际应用场景中的位置一般如下:其中的编号1~5说明如下:1、Flume用于收集日志信息;2、结合数据传输功能可以把收集到的日志信息实时传输到kafka集群,或保存到Hadoophdfs中保存。这里之所以选择kafka集群是因为kafka集群具备缓冲功能,可以防止数据采集速度和数据处理速度不匹配导致数据丢失,这样做可以提高可靠性