使用Python进行数据工程:在这里我将探索在Python数据工程过程中使用的各种工具和方法。 源码

带Python的数据工程 此仓库包含我的代码和管道,这些和管道在“进行一书中进行了说明。 软件和硬件列表 所需软件 使用的操作系统 Python 3.x,Spark 3.x,Nifi 1.x,MySQL 8.0.x,Elasticsearch 7.x,Kibana 7.x,Apache Kafka 2.x Linux(任何发行版) 目录 airflow-dag:此目录包含此仓库中使用的airflow DAG模块 great_expectations:包含本地Great Expectation部署的所有重要组件 kafka-producer-consumer:包含在Python中产生和使用Ka