1. 首页
  2. 数据库
  3. 其它
  4. spark scala hdfs docker example:使用Scala的Spark将文件写入HDFS并使用Docker“ scale”自动添加新的Spa

spark scala hdfs docker example:使用Scala的Spark将文件写入HDFS并使用Docker“ scale”自动添加新的Spa

上传者: 2021-02-24 19:14:42上传 ZIP文件 246KB 热度 12次
spark-scala-hdfs-docker-example 使用Scala的Spark可以使用Docker“ scale”自动添加新的Spark工人,从而将文件读/写到HDFS 默认值: 工作区目录位于/ app Jar文件位于/app/app.jar。 主类是app.Main 如果要在Sparky,Scala,远程Spark Master的示例中但在Jupyter Notebook环境中,请查看 用法 创建docker-compose.yml version : ' 3.3 ' services : # SPARK EXAMPLE APPLICATION spark
用户评论