1. 首页
  2. 大数据
  3. 算法与数据结构
  4. MapReduce简介

MapReduce简介

上传者: 2019-09-26 19:36:59上传 PPT文件 3.07MB 热度 34次
大规模数据处理时,MapReduce在三个层面上的基本构思如何对付大数据处理:分而治之对相互间不具有计算依赖关系的大数据,实现并行最自然的办法就是采取分而治之的策略上升到抽象模型:Mapper与ReducerMPI等并行计算方法缺少高层并行编程模型,为了克服这一缺陷,MapReduce借鉴了Lisp函数式语言中的思想,用Map和Reduce两个函数提供了高层的并行编程抽象模型上升到构架:统一构架,为程序员隐藏系统层细节MPI等并行计算方法缺少统一的计算框架支持,程序员需要考虑数据存储、划分、分发、结果收集、错误恢复等诸多细节;为此,MapReduce设计并提供了统一的计算框架,为程序员隐藏了绝大多数系统层面的处理细节
下载地址
用户评论