1. 首页
  2. 编程语言
  3. 其他
  4. sqoop 实现将postgresql表导入hive表

sqoop 实现将postgresql表导入hive表

上传者: 2021-08-20 18:51:12上传 PDF文件 88.80 KB 热度 20次

使用sqoop导入数据至hive常用语句直接导入hive表内部执行实际分三部,1.将数据导入hdfs,2.创建hive表名相同的表,3,将hdfs上数据传入hive表中sqoop根据postgresql表创建hive表导入hive已经创建好的表中使用query导入hive表注意:$CONDITIONS条件必须有,query子句若用双引号,则$CONDITIONS需要使用\转义,若使用单引号,则不需要转义。遇到问题若需要在导入hive数据表的前提下,再添加在原有关系型数据库中没有的一列数据如何解决。首先,我们想到的是添加一个partition可很方便的添加“一列”数据,partition的使用很类似普通一列,常用的sql执行是没有问题的。

用户评论