dagster:用于机器学习分析和ETL的数据协调器 源码

达格斯特 Dagster是用于机器学习,分析和ETL的数据协调器 Dagster允许您根据可重用的逻辑组件之间的数据流定义管道,然后在本地进行测试并在任何地方运行。 借助管道及其产生的资产的统一视图,Dagster可以调度和编排Pandas,Spark,SQL或Python可以调用的其他任何方式。 Dagster专为数据平台工程师,数据工程师和全栈数据科学家而设计。 使用Dagster构建数据平台可以使您的利益相关者更加独立,系统也更加强大。 使用Dagster开发数据管道可简化测试并加快部署速度。 在笔记本电脑上进行开发和测试,可在任何地方部署 通过Dagster的可插入执行,同一管道可以