云雾网络架构的大数据分析平台研究

随着云计算和物联网的快速发展,企业和个人产生的数据信息量和速度都在不断增加。如何使用和管理如此庞大的数据量进行大数据分析已经成为一项重要的任务。但在云计算的架构下,Hadoop在执行MapReduce操作时会占用大量的网络带宽,尤其是在多个节点的情况下,网络传输质量的影响更为严重。基于大数据信息储存平台为基础架构,结合雾计算的数据预处理能力,构建了以雾计算架构为基础的大数据分析平台,利用雾的特性计算近端设备的优点,将大多数的数据信息在送进MapReduce做分析前,先进行初步的整合和计算,可以减少传递给Hadoop MapReduce的Result Set,将这种计算架构应用到当前的云计