开源组件下的大数据技术框架

目录 (一)通用框架概述 (二)数据收集层 (三)数据存储层 (四)资源管理与服务协调层 (五)计算引擎层 (六)数据分析层 (七)数据可视化层 (一)通用框架概述 自底向上,与OSI类似,通用框架下的大数据体系有七层:数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下: (二)数据收集层 数据收集层直接与数据源对接,负责采集产品使用过程中生成的日志,具有分布式、通用化等属性。由于实际场景中,大部分的数据源是零散的,因此采集到一起的难度较大,因而在设计上应该具备如下几个特点: 扩展性:能够配置多种不同的数据源,并且在遇到洪峰时