可扩展数据科学平台:用于使用LuigiSpark和Flask为产品构建数据科学平台的内容 源码

构建可扩展的数据科学平台(Luigi,Apache Spark,Pandas,Flask) 第五届大象2016 [ ] [] 抽象 “在理论上,理论与实践之间没有区别。但是在实践中,两者之间没有区别。” -瑜伽士贝拉 一旦在本地计算机上完成了数据科学解决方案原型的任务,真正的挑战就在于如何使它在生产中工作。 确保数据管道的管道将在大规模生产中发挥作用是一门艺术,也是一门科学。 科学涉及了解使数据管道连接所需的不同工具和技术,而现有技术涉及进行调整数据管道以使其流动所需的权衡。 在本研讨会中,您将学习如何使用Pandas和Luigi建立并进行数据工程来构建可扩展的数据科学平台,如何使用Ap