1. 首页
  2. 数据库
  3. 其它
  4. etl_airflow:Python和Postgres的气流教程 源码

etl_airflow:Python和Postgres的气流教程 源码

上传者: 2021-04-20 05:31:26上传 ZIP文件 11.54KB 热度 17次
气流教程 本教程演示了如何使用Apache Airflow进行工作流程编排。 问题陈述 从PGCB网站执行ETL作业。从第一页提取每日报告,清理数据并将其存储在数据库中。该脚本只会从首页提取新报告;这意味着如果ETL作业已经下载了前几天的数据,它将仅下载当天的报告。 项目结构 etl_airflow |--etl | |--Dockerfile | |--etl.py | |--requirements.txt |--.gitignore |--docker-compose.yml |--README.md
用户评论