运行Spark程序的方法

Spark shell: 提供了一个强大的交互式分析数据的工具,我们可通过Scala或Python语言来使用 pyspark 在启动时便会自动生成一个驱动器程序,所以只需要在Spark shell中输入项运行的操作就可以了 pyspark –master MasterURL –name NAME 在Spark shell中运行语句sc可直接得到驱动器程序的相关信息 jupyter Notebook 是一个受许多Python开发者喜爱的Python shell,具有交互界面清晰、方便便调试编译等优点 在jupyter Notebook中可以通过使用import pyspark 来运行sp