大数据知识脉络总结

分布式计算框架编程模型InputFormatMap输入：偏移量、一行数据输出：Text，Text自定义对象shuffle数据从map端拉取归并（汇总）排序Reduce输入：Text，list输出：Text，TextOutputForamt特殊组件partitioner数据分区key.hashcode%reduceTaskNumcombiner本地reduce，在map阶段运行看情况使用排序&TopN;共同好友计算分布式资源调度框架架构原理分配流程