mrjob:在Hadoop或Amazon Web Services上运行MapReduce作业 源码

mrjob:Python MapReduce库 mrjob是一个Python 2.7 / 3.4 +软件包,可帮助您编写和运行Hadoop Streaming作业。 mrjob完全支持Amazon的Elastic MapReduce(EMR)服务,该服务使您可以按小时购买Hadoop集群上的时间。 mrjob具有对Google Cloud Dataproc(Dataproc)的基本支持,该支持使您可以每分钟在Hadoop群集上购买时间。 它也可以与您自己的Hadoop集群一起使用。 一些重要功能: 在EMR,Google Cloud Dataproc,您自己的Hadoop群集或本地(用