summingbird:通过缩放和风暴流式传输MapReduce 源码

总结鸟 Summingbird是一个库,可让您编写看起来像本机Scala或Java集合转换的MapReduce程序,并在许多著名的分布式MapReduce平台(包括和上执行它们。 虽然纯Scala中的单词计数聚合看起来像这样: def wordCount ( source : Iterable [ String ], store : MutableMap [ String , Long ]) = source.flatMap { sentence => toWords(sentence).map(_ - > 1L ) }.foreach { case (k, v) => store.update(k, store.get(k) + v) } Summingbird中的单词计数看起来像这样: def wordCount [ P < : Platfor