spark jobserver examples 使用Ooyala的Spark作业服务器进行实验

Spark作业服务器示例使用和最近外包的。 Spark作业服务器的原因：允许您在作业之间共享Spark上下文(!!)；提供RESTful API来管理作业、上下文和jar。目标让我们找出前5名Stack Overflow用户（纯粹是声誉！）。在这个例子中，有3个spark.jobserver.SparkJob实现：他们的共同目标是从users RDD中获取前5个用户，但他们有不同的行为： GetOrCreateUsers：尝试获取RDD或创建它，如果它不存在； GetOrFailUsers：尝试获取RDD或抛出异常，如果它不存在； GetAndUpdateUsers：尝试获取RDD并将其更新为仅包含最近100天内注册的用户，然后返回前5名用户；如果RDD不存在，则抛出异常。先决条件下载StackOverflow的用