MapReduce作业运行流程

基本概念 MapReduce采用了Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave运行TaskTracker JobTracker:初始化作业,分配作业,TaskTracker与其进行通信,协调监控整个作业 TaskTracker:定期与JobTracker通信,执行Map和Reduce任务 HDFS:保存作业的数据、配置、jar包、结果 作业运行流程 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、