1. 首页
  2. 行业
  3. 金融
  4. Spark 读取HDFS保存mongodb

Spark 读取HDFS保存mongodb

上传者: 2020-09-28 17:02:19上传 DOCX文件 22.58KB 热度 20次
如何使用oozie来调度大数据工作任务。 本案例主要解决下面问题 1、通过idea工具创建sbt项目,并sbt进行编译,打包 2、创建spark的sbt项目。spark读取hdfs,保存mongodb程序 3、Oozie 的Spark Action的调度验证以及不足,测试是否可以入库 4、Oozie 的 Shell Action的调度 5、Oozie 的定时器调度 6、Oozie 的HiveAction调度支持外部依赖包 7、Oozie整体项目案例(Hive Action、Spark Action、Shell Action、Oozie定时调度整合)
下载地址
用户评论