面向大数据的Storm框架研究与应用

大数据计算主要包括批量计算和实时计算,针对批量计算处理的都是历史数据而不能实现低延迟高响应的缺点,基于Storm并借助开源框架Flume、Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的形式进行计算,输出有价值的信息。最后对系统进行性能测试以及计算能力的测试。实验结果表明,该系统可扩展性良好,且并行计算能力稳定,适合大量实时数据处理。