基于Hadoop的测试数据处理系统设计与实现

提出一种基于Hadoop软件框架进行海量测试数据处理的解决方案。在深入研究Hadoop分布式系统构架、HDFS分布式文件系统以及MapReduce分布式编程模型的基础上,设计并实现了二进制测试数据文件到HDFS的传输机制以及基于MapReduce的测试数据分布式格式转换系统。最后搭建实验环境,验证了整个系统的正确性并对分布式格式转换系统进行性能评估。与本地单机相比,系统在处理海量数据时具有更高的效率及更好的可拓展性。