用于SparkStreaming的数据挖掘streamDM.zip

streamDM，是由华为诺亚方舟实验室开源的使用SparkStreaming挖掘大数据的开源软件。大数据流学习大数据流学习（BigDatastreamlearning）比批量或离线学习更富有挑战性，因为数据在流动的过程中不太可能保持同一种分布。而且，数据流中的每一个样本只能被处理一次，否则它们就需要占用内存进行总结，同时该学习算法也必须非常高效。SparkStreamingSparkStreaming 是核心SparkAPI的一个扩展，它能让多个源的数据流处理成为可能。Spark是一个可扩展可编程的框架，用于大规模分布式数据集（也称为弹性分布式数据集（RDD））处理。SparkStreaming接收输入的数据流后将数据分批，再由