电商大数据离线计算项目源码实验报告

电子商务中会产生海量的数据蕴含着不可估量的数据价值可通过数据分析来挖掘这些潜在价值以提升平台的销量.本次实践项目利用Hadoop的分布式计算框架MapReduce来分析用户行为数据计算得出商品点击排行商品分类占比等统计指标使得更加熟练掌握MapReduce程序的设计.相关理论知识有Map和Reduce流程图如下输入数据INPUT首先分割SPLIT成若干份然后每份分别进行MAP过程中间再经过COMBINE任务可选和PARTTION对MAP所得的结果进行聚合把同key的结果放到同一组最后再进行REDUCE过程.