paytm:PayTm挑战 源码

Paytm Labs数据工程师挑战赛 阅读以下说明,并完成所有挑战。 您的提交必须包含用于解决此挑战的代码。 *免责声明 我们知道该数据集很小,可以放入2GB RAM的任何现代笔记本电脑中。 在决定使用Pandas(出于充分的理由)之前,请使用任何现代的分布式ETL(火花,闪烁,光束,模糊等;首选使用Spark),因为我们希望您的解决方案能够扩展到更大的数据集(TB或更多)! 挑战 数据 该仓库中的天气数据位于/data/2019/ 。 有时,气象站不会获取每个字段的读数,在这种情况下,气象站会报告该字段的所有9(下表中提供了丢失字段的准确值)。 确保正确处理缺失值。 场地 类型 描述 丢