MetroSTL Esri ETL 源码

地铁圣路易斯GIS数据管道 介绍 创建该脚本的目的是为了使Metro St Louis数据存储区对于AGOL实例和现场ArcGIS Enterprise实例保持最新。该脚本旨在将静态目录中的数据作为CSV文件提取并将其传输到存储在gdb中的地理数据集,然后更新本地当前文件gdb并将当前gdb中的所有文件发布到两个云中。 随着Apache Airflow的发展,静态文件目录的必要性以及最终调用它们的Cronjob将变得过时。相反,最终将发生在每个星期一,AirFlow将运行查询以通过Python运行所有文件。这些表可以存储在静态目录中以进行安全保存,也可以只运行并存储在每周的gdb中。如果是这种情况,最好是将它们并行设置以将每个特定查询分离为依赖项,而不是仅运行查询然后存储它们,然后立即进行另一个作业。这样可以节省内存并使其运行得更快,尤其是对于某些较大的文件(例如模式) 。 该项目分为4个