py hadoop tutorial:一起使用Python和Hadoop源材料 Source material

py-hadoop教程 一起使用Python和Hadoop源材料。 依存关系 这是一个使用Ibis和PySpark与Hadoop中存储的数据(特别是HDFS和Impala Table中的文件)进行交互的教程。 您将需要访问Hadoop集群(或VM / Docker映像),具有python解释器(安装了requirements.txt中列出的软件包)以及spark 1.6.1 数据 我们将使用已更正的每小时Wikipedia页面浏览统计信息: 。 可以在[关于数据集的Wikitech Wiki页面上]找到有关数据源的更多文档。( ) 要在本地下载数据,请运行 mkdir pageviews-gz python grab_data.py 从该目录的根目录开始。 然后创建所需的表,