(hadoop HDFS 和 Mapreduce 架构浅析

Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。Hadoop在很大程度上是受Google在2004年白皮书中阐述的MapReduce技术的启发。MapReduce工作原理是将任务分解为成百上千个小任务，然后发送到计算机集群中。每台计算机再传送自己那部分信息，MapReduce则迅速整合这些反馈并形成答案。简单来说，就是任务的分解和结果的合成。Hadoop的扩展性非常优秀，Hadoop可处理分布在数以千计的低成本x86服务器计算节点中的大型数据。这种高容量低成本的组合引人注目，但Hadoop最吸引人的是其处理混合数据类型的能力。Hadoop可以管理结构化数据，以及诸如服务器日志