Databricks孟祥瑞:ALS在SparkMLlib中的实现

摘要:MLlib在1.3中添加了不少机器学习及数据挖掘算法:研究主题分布的LDA、估计点集分布的GMM、提取频繁项集的FP-growth等等。本文主要聚焦ALS的实现及其在1.3中的提升。深受用户喜爱的大数据处理平台ApacheSpark1.3于前不久发布,MLlib作为Spark负责机器学习(ML)的核心组件在1.3中添加了不少机器学习及数据挖掘的算法:研究主题分布的latentDirichletallocation(LDA)、估计点集分布的高斯混合模型(GMM)、提取频繁项集的FP-growth、生成图聚类的poweriterationcluste