HDFS简介

一、HDFS的简介 分布式文件系统 HDFS Hadoop Distributed FileSystem 基于流数据访问模式处理超大规模的文件 适合应用大规模的数据集上 HDFS的优点 1)处理超大规模的文件 2)处理结构化,半结构化,非结构化的数据 3)流式的的访问模式一次写入,多次读写且不支持修改 4)运行于廉价的商用机器集群上 局限性 1)不适合处理低延迟的数据访问 2)无法高效的存储大量的小文件 3)不支持多用户的写入和任意的修改文件 二、HDFS的特性 高容错,可扩展,可配置性强 跨平台 shell命令接口 机架感知 负载均衡 web界面 三、HDFS的目标 检测和快速恢复硬件故障