1. 首页
  2. 大数据
  3. Hive
  4. 使用Sqoop与Hive集成MySQL处理纽约证券交易所数据集

使用Sqoop与Hive集成MySQL处理纽约证券交易所数据集

上传者: 2024-10-29 10:55:47上传 ZIP文件 12.3MB 热度 15次

Sqoop+Hive+MySQL 该项目将演示以下在CDH5中使用sqoop的核心概念:在mysql中创建表,将NYSE数据导入MySQL。使用Sqoop将数据从mysql导入HIVE,操作hive中的数据来计算每个股票代码的股票量,并将此数据存储到hive上的stock_volume表中。最后,使用sqoop将此数据从hive导出回mysql进行报告。待开发内容包括:用于导入、数据操作和导出的Oozie脚本,以及从mysql输出中读取信息并报告数据的UI。==== 文件信息NYSE hadoop文档包含导入和导出数据的所有步骤和命令,以及分步指南。tar文件包含用于该项目的示例数据,它应该可以很好地表示整体。

用户评论