525_group11:UBC MDS 2020 2021 DSCI 525网络和云计算课程团队项目 源码

DSCI 525团队11项目 该项目是UBC MDS-Vancouver 2020-2021 DSCI-525网络和云计算课程的一部分。 概述 在此项目中,我们将依次担任1.数据工程师,2。基础架构,3。数据科学家和4. DevOps的角色,以对daily rainfall in Australia (5.7 GB)中的daily rainfall in Australia大daily rainfall in Australia执行预测任务,并实现以下4个目标: 使用API​​从网络上获取数据,进行处理,然后将其转换为有效的文件格式; 将数据移至云中,在云中设置基础架构并执行机器学习模型; 在云中设置分布式基础架构(Spark)并运行相同的机器学习模型; 在云中部署机器学习模型,以便其他消费者可以使用它。 目的是让人们接触使用大型数据集,并在云中构建和部署集成机器学习模型。 贡献