data hub airflow image:创建用于运行数据集线器管道的自定义气流图像 源码

eLife的数据中心气流图像 创建自定义气流图像,该图像将部署在K8中,并用于运行数据中心数据管道。创建的映像包含一组气流dag,在将其git repos(列在repo-list.json列出)克隆并复制到repo-list.json映像后,将其安装在映像中。 图像如何创建 所述克隆中的每个指定的GIT中回购文件转换成用于在该特定回购指定的目录repo-list.json 。在映像建立期间, 克隆的git repos以及scripts中的scripts将被复制到docker映像中。 脚本scripts/install_dag_in_docker.sh递归地调用每个克隆的数据管道git repos的根目录中的install.sh脚本。每个克隆的git仓库中的install.sh应该 安装数据管道所需的python软件包 将dags文件复制到相应的dags目录中, 将数据管道应用程序文件复制到