基于Hadoop技术的大数据分析应用系统的研究与设计

传统的信息处理技术已难以满足现代数据处理的要求。因此,文中针对云计算时代数据处理计算量大、实时性要求高的特点,研究了基于Hadoop技术的大数据分析应用系统。该系统以Hadoop技术为基本框架,采用HDFS系统作为数据存储的基本单元。并在此基础上,利用Hive方式建立新的数据库系统,结合MySQL数据管理系统和Kylin进行数据分析系统完成对数据的获取、存储、分析、管理功能。最后,通过大数据可视化系统和大数据报表分析系统完成对数据分析结果的呈现。本研究内容对实现大数据的管理和分析具有重要意义。