Udacity Data Engineering 6:数据工程的顶峰项目 源码

Udacity-数据工程-6 顶石项目 关于/简介 在数据工程的顶峰项目中,我结合了我在整个程序中学到的知识。 我从Udacity提供的包含四个数据集的项目开始。 主要数据集包括有关移民到美国的数据,补充数据集包括有关机场代码,美国城市人口统计数据和温度数据的数据。 所得数据集可用于分析前往美国的旅行和移民趋势。 目录 项目范围 我将研究四个数据集,分别是美国移民数据,美国城市人口统计信息,天气信息和机场数据。 所得数据集可用于分析前往美国的旅行和移民趋势。 我正在使用本地Spark实例来处理本地文件夹中的数据。 可以将项目代码升级为在具有Amazon S3上的数据的独立Amazon EMR Spark集群上工作。 我从获得了这一经验,因此我将重点更多地放在数据调查上,而不是构建生产级ETL管道。 项目数据集 I94移民数据:此数据来自。 数据字典包含在工作空间中。 我正在使用此数据集填充