1. 首页
  2. 数据库
  3. 其它
  4. 大数据学习(九):mapreduce编程模型及具体框架实现

大数据学习(九):mapreduce编程模型及具体框架实现

上传者: 2021-01-10 21:00:13上传 PDF文件 50.57KB 热度 8次
map reduce编程模型把数据运算流程分成2个阶段 阶段1:读取原始数据,形成key-value数据(map方法) 阶段2:将阶段1的key-value数据按照相同key分组聚合(reduce方法) mapreduce编程模型软件的具体实现: hadoop中的mapreduce框架、spark。 hadoop中的mapreduce框架: 对编程模型阶段1实现就是:map task 对编程模型阶段2的实现就是reduce task。 map task: 读数据:InputFormat–>TextInputFormat
下载地址
用户评论