Spark在TalkingData移动大数据平台的实践

2013年9月份,TalkingData开始尝试使用Spark解决数据挖掘性能问题。随着对Spark的逐渐了解,TalkingData开始将Spark应用到整个移动大数据平台的建设中。在移动大数据平台中,ETL过程、计算过程、数据挖掘、交互式数据提取等等都依赖于Spark。在这里,我将要介绍我们使用Spark的状况、平台架构、以及一些实践经验。当然也包括一些总结的最佳实践。