lakeFS:对象存储的类似Git的功能 源码

什么是lakeFS lakeFS是一个开源层,可为基于对象存储的数据湖提供弹性和可管理性。 借助lakeFS,您可以构建可重复的,原子的和版本化的数据湖操作-从复杂的ETL作业到数据科学和分析。 lakeFS支持将AWS S3或Google Cloud Storage作为其基础存储服务。 它与S3兼容,并且可以与所有现代数据框架(例如Spark,Hive,AWS Athena,Presto等)无缝协作。 有关更多信息,请参见。 能力 数据开发环境 实验-单独尝试工具,升级版本并评估代码更改。 可重现性-可以回到任何时间点来获得一致的数据湖版本。 持续数据整合 通过执行最佳实践来安全