数据科学导论实验报告实验二:熟悉HDFS操作的常用方法与编程实现
数据科学导论实验报告实验二:熟悉HDFS操作的常用方法与编程实现
本实验旨在熟悉大数据存储和处理框架Hadoop的分布式文件系统(HDFS)的常用操作。首先,利用Hadoop提供的Shell命令完成以下指定功能。其次,编程实现一个名为"MyFSDataInputStream"的类,该类继承自"org.apache.hadoop.fs.FSDataInputStream",并实现了按行读取HDFS中指定文件的方法"readLine()"。如果读到文件末尾,则返回空,否则返回文件一行的文本。此外,我们介绍了使用"java.net.URL"和"org.apache.hadoop.fs.FsURLStreamHandlerFactory"的编程方法,可以将HDFS中指定文件的文本内容输出到终端中。
下载地址
用户评论