Steam_Recommendation_System:推荐系统协作过滤SparkHiveFlaskWeb爬网程序AWS EC2AWS RDS 源码

项目Steam游戏推荐系统 1概述 关键字:推荐系统,协作过滤,Spark,Hive,Flask,Web爬网程序,AWS EC2,AWS RDS 1.1引言 推荐系统在最近几年变得越来越流行,并且广泛用于电影,音乐,新闻,书籍,研究文章,搜索查询,社交标签和产品等各个领域。 推荐系统或推荐系统是信息过滤系统的子类,其试图预测用户将给予商品的“等级”或“偏好”。 在这个项目中,我通过Spark的ALS(交替最小二乘)API(pyspark.mllib.recommendation.ALS)在Spark上使用协作过滤算法,实现了游戏推荐系统。 协作过滤方法是基于收集和分析有关用户的行为,活动或偏好的大量信息,并基于与其他用户的相似性来预测用户的喜好。 1.2架构 整个项目分为三个阶段: 通过Web爬网程序收集数据 Spark上的游戏推荐引擎 Web UI实施 该项目的体系结构如下所示: