1. 首页
  2. 大数据
  3. Hadoop
  4. 大数据知识脉络总结

大数据知识脉络总结

上传者: 2019-09-05 10:50:51上传 XMIND文件 4.33MB 热度 21次
分布式计算框架编程模型InputFormatMap输入:偏移量、一行数据输出:Text,Text自定义对象shuffle数据从map端拉取归并(汇总)排序Reduce输入:Text,list输出:Text,TextOutputForamt特殊组件partitioner数据分区key.hashcode%reduceTaskNumcombiner本地reduce,在map阶段运行看情况使用排序&TopN;共同好友计算分布式资源调度框架架构原理分配流程
用户评论