比较S3对象 源码

比较S3对象 比较清单文件中指定的两组s3对象 笔记 在EMR主节点上处理大数据集 火花壳-主纱-部署模式客户端-驱动程序内存30G --executor内存30G --executor-cores 12 --num-executors 30 --conf spark.driver.maxResultSize = 20g sc.getConf.getAll.sorted.foreach(println) rows.rdd.partitions.size rows.rdd.getNumPartitions 样例命令 ===互动=== spark-shell \ --master yarn \ --deploy-mode client \ --driver-memory 30G \ --executor-memory 30G --executor-cor