分布式MapReduce相关技术研究

通过MapReduce开发过程中学到了不少东西 ，1，约束编程模式使得并行和分布式计算非常容易，也易于构造容错的计算环境；2，网络带宽是稀有资源。大量的系统优化是针对减少网络传输量为目的的：本地优化策略使大量的数据从本地磁盘读取，中间文件写入本地磁盘、并且只写一份中间文件也节约了网络带宽；3，多次执行相同的任务可以减少性能缓慢的机器带来的负面影响，同时解决了由于机器失效导致的数据丢失问题。