snapflow:功能性React式数据管道 源码

协同数据 Snapflow是一个用于从模块化组件构建功能性React式数据管道的框架。 它使开发人员可以使用Python或SQL编写渐进类型的纯数据函数(称为snaps ,这些函数对datablocks (结构和语义由灵活schemas描述的不可变数据集)进行React性操作。 这些快照可以组成简单或复杂的数据管道,以处理数据处理管道的每个步骤,从API提取到转换再到分析和建模。 此功能性响应框架具有强大的优势: 简单的声明式图—快照流的功能性响应性质将传统ETL的混乱状态混合成混乱,并将其转变为干净的声明式数据流。 重建和增量更新的复杂混合成为简单的无状态运算符。 可重用的组件-由于它们是独立的,具有记录的输入和输出,因此可以轻松地将快照插入在一起,在项目之间共享和重用,开源并在snapflow信息库中进行分类(即将推出)。 一些示例snapflow模块和组件: 摄取Stripe