CDH Install如何安装CDH

CDH，全称为Cloudera Distribution Including Apache Hadoop，是由Cloudera公司提供的一款开源大数据平台，包含了多种Apache Hadoop生态系统组件，如HDFS、MapReduce、YARN、HBase、Spark等。将详细讲解如何安装CDH，以便于在本地或服务器集群上构建一个功能完备的大数据处理环境。

一、系统准备

在开始CDH安装前，确保你的服务器满足以下基本硬件和软件要求：

1. 硬件：足够的内存（至少8GB）、磁盘空间（根据组件需求而定）和处理器核心。

2. 操作系统：CentOS或RHEL 6.x或7.x，以及其他Cloudera官方支持的操作系统。

3. 网络：所有节点间需有良好的网络连接，用于数据传输和集群通信。

4. 用户与权限：创建一个名为hadoop的用户，并赋予sudo权限。

二、安装依赖

1. Java：CDH需要JDK 1.7或更高版本。使用yum install java-1.8.0-openjdk*命令安装。

2. SSH：确保所有节点间可以无密码SSH互访，使用ssh-keygen生成公钥私钥对，然后通过ssh-copy-id复制公钥到其他节点。

三、配置hosts文件

在所有节点的/etc/hosts文件中，添加所有节点的主机名和IP映射，确保集群内部可以快速定位各节点。

四、下载并安装Cloudera Manager

1. 下载最新版本的Cloudera Manager安装包，如cm5.x.y.z.parcel。

2. 将安装包上传到所有节点的同一目录，如/opt/parcels。

3. 使用cdh5-install.sh脚本启动安装，该脚本通常位于安装包的解压目录中。

五、启动Cloudera Manager

1. 登录Cloudera Manager服务器，运行/usr/share/cmf/cm-server/start-cm-server.sh启动管理器。

2. 打开浏览器，访问http://:7180，输入默认用户名admin和密码admin登录。

六、部署CDH集群

1. 在Cloudera Manager界面，选择\"部署\"，然后点击\"添加集群\"。

2. 输入集群名称，选择CDH版本，点击\"下一步\"。

3. 添加主机，导入之前准备好的主机列表，或者手动添加。

4. 分配角色，根据需要将服务组件分配到不同节点。例如，HDFS的NameNode和DataNode，YARN的ResourceManager和NodeManager等。

5. 配置服务设置，如端口、存储路径等。

6. 完成配置后，点击\"部署\"，Cloudera Manager会自动完成安装和配置。

七、启动和服务监控

1. 部署完成后，启动所有服务，确保所有组件都已启动并处于健康状态。

2. 使用Cloudera Manager监控集群性能，查看日志，管理配置和升级。

八、安全配置

1. 可选：启用Kerberos，为集群提供安全认证，确保数据传输的安全性。

2. 配置防火墙规则，允许必要的端口和服务通信。

九、数据处理和应用开发

1. 使用HDFS API进行数据存储，或者通过Hive、Impala进行数据分析。

2. 集成Spark进行实时处理，或使用MapReduce执行批处理任务。

安装CDH涉及多个步骤，从系统准备到集群部署，再到服务管理和安全配置，都需要细心操作。遵循上述指南，可以顺利构建一个完整的CDH大数据环境，为数据分析和处理提供强大的支持。