基于Hive数据仓库的物流大数据平台的研究与设计

针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题。本文通过对Hive技术的物流数据仓库进行分析,提出物流数据仓库的具体实现方案,该数据仓库结合云平台虚拟化技术,部署了 Hadoop和 Hive 环境,搭建了基于虚拟化技术的大数据处理平台。同时从数据 ETL 和数据查询分析处理两方面对数据仓库的可扩展性Hive 数据存储分析、Hive数据前置处理等进行研究设计。通过 Hive数据仓库运行效果进行分析,表明该系统能够很好地支持企业管理层决策。