marquez:收集汇总和可视化数据生态系统的元数据 源码

Marquez是一个开源元数据服务,用于数据生态系统元数据的收集,聚合和可视化。 它维护了数据集的消费和生产方式的出处,提供了作业运行时间和数据集访问频率的全局可见性,数据集生命周期管理的集中化等等。 Marquez由发布并开源。 徽章 状态 Marquez是一个孵化项目,正在积极开发中,我们将竭诚为您服务! 快速开始 Marquez提供了一种简单的方法来收集和查看数据集和作业元数据。 建立和运行的最简单方法是使用Docker。 在Marquez存储库的基础上运行: $ ./docker/up.sh 提示:使用--build标志可从源代码生成映像,和/或--seed可使用种子数据加载。 WEB UI 您可以打开开始浏览Web UI。 通过UI,您可以通过沿袭图发现作业与它们产生和使用的数据集之间的依赖关系,查看当前和先前作业运行的运行元数据,还有更多! HTTP API 在端口