hadoop_4hadoop_4

MapReduceLibrary将Input分成M份。这里的InputSplitter也可以是多台机器并行Split。 Master将M份Job分给Idle状态的M个worker来处理； 对于输入中的每一个pair进行Map操作，将中间结果Buffer在Memory里； 定期的（或者根据内存状态），将Buffer中的中间信息Dump到本地磁盘上，并且把文件信息传回给Master（Master需要把这些信息发送给Reduceworker）。这里最重要的一点是，在写磁盘的时候，需要将中间文件做Partition（比如R个）。拿上面的例子来举例，如果把所有的信