论文研究Hadoop中处理小文件的四种方法的性能分析.pdf

Hadoop的设计初衷是为了存储和分析大数据，其最擅长处理的是大数据集。但是在实际应用中，却存在着大量的小文件。一般情况下有四种处理海量小文件的方法，分别为默认输入格式TextInputFormat、为处理小文件而设计的CombineFileInputFormat输入格式、SequenceFile技术以及Harballing技术。为了比较在相同的Hadoop分布式环境下这四种技术处理大量小文件时的性能，选用了典型的数据集，利用词频统计程序，来比较四种小文件处理技术的性能差异。实验研究表明，在不同需求下处理大量小文件的时候，选用适当的处理方法能够在很大程度上提高大量小文件的处理效率。