spark cluster docker 源码

Spark集群Docker 由提供支持 该存储库包含Docker文件,以使用JupyterLab接口创建一个Spark集群。 该集群用作Rock JVM在线课程和Apache Spark上的实时培训课程的教学工具: 加上以上的企业培训课程 为Spark 3.0.0设置了集群。 如何安装 作为前提条件,您需要为您的OS安装Docker。 该存储库已经在Linux和macOS上进行了测试,但是使用Bash解释器,它也可以按原样在Windows上运行。 然后,您需要构建Docker映像。 该存储库包含用于的图像定义 JupyterLab界面 一个Spark主节点 一个Spark worker节点(我们将实例化其中的两个,每个节点带有2个vCore和1GB内存) 要构建映像,请从根目录运行构建脚本: ./build-images.sh 命令完成后,仍在根目录中,运行 docker-comp