aws etl orchestrator:一种无服务器架构用于使用AWS Step Functions和AWS Lambda在任意复杂的工作流程中协调ETL作业

目录 介绍 提取,转换和加载(ETL)操作共同构成了任何现代企业数据湖的骨干。 它将原始数据转换为有用的数据集,并最终转换为可行的见解。 ETL作业通常从一个或多个数据源读取数据,对数据进行各种转换,然后将结果写入目标中,以便随时使用数据。 ETL作业的来源和目标可以是Amazon Relational Database Service(Amazon RDS)或本地中的关系数据库,Amazon Redshift等数据仓库或Amazon Simple Storage Service(Amazon S3)存储桶等对象存储。 作为目标的Amazon S3在AWS中构建数据湖的情况下尤其常见。 AW