Hadoop MapReduce的数据排序策略解析

Hadoop MapReduce的排序策略主要分为部分排序和全排序两种。部分排序的实现是在MapReduce的Map过程中将键值对按照键进行排序，保证每个Map的输出结果内部是排好序的；而全排序则需要使用分区方法来保证全局排序，但在处理大型文件时效率比较低。Reduce过程中，ReduceTask采用Copy、Merge、Sort和Reduce四个阶段对MapTask的结果进行处理并最终将计算结果写到HDFS上。其中在Sort阶段，ReduceTask对所有数据进行归并排序，以保证key相同的数据聚在一起。对于ReduceTask从各个MapTask上远程拷贝的一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。建议的内容长度为300到1000个字。