PySpark对电影和用户进行聚类分析

之前的博文使用pyspark.mllib.recommendation做推荐案例,代码实现了如何为用户做电影推荐和为电影找到潜在的感兴趣用户。本篇博文介绍如何利用因子分解出的用户特征、电影特征做用户和电影的聚类分析,以看能否找到不同于已知的、有趣的新信息。 第一步:获取用户评分数据显式因式分解后的movieFactors、userFactors。 from pyspark.mllib.recommendation import ALS,Rating #用户评分数据 rawData = sc.textFile("/Users/gao/data/ml-100k/u.data")