回流:用于云中分布式增量数据处理的语言和运行时 源码

回流是在云中用于增量数据处理的系统。 Reflow使科学家和工程师可以使用普通的编程结构来组合现有工具(打包在Docker映像中)。 然后,Reflow在云环境中评估这些程序,透明地并行化工作并记录结果。 Reflow是在上创建的,用于管理我们在上的NGS(下一代测序)生物信息学工作负载,但也已用于许多其他应用程序,包括模型训练和临时数据分析。 回流包括: 一种功能性的,惰性的,类型安全的领域特定语言,用于编写工作流程程序; 运行时,用于评估Reflow程序,协调集群执行和透明的备忘录; 集群调度程序,以动态配置和拆除云提供商的资源(当前支持AWS)。 因此,回流允许科学家和工程师编写简单的程序,然后在云环境中透明地执行它们。 程序自动并行化并分布在多台计算机上,其备忘缓存消除了冗余计算(甚至跨运行和用户)。 Reflow评估其程序:只要输入数据或程序发生更改,就仅重新计算依赖于更改后的数据或代码的那些输出。 除了默认的群集计算模式外,还可以使用本地计算机的Docker守护程序(包括Docker for Mac)在本地运行Reflow程序。 Reflow旨在支持复杂的大规