0723-6.2.0-如何在RedHat7.2使用rpm安装CDH(有CM)

1 文档编写目的

在之前的文档《0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)》中介绍了如何在CM上使用rpm的方式安装CDH6.2.0集群,本文档将介绍如何在CM上使用rpm的方式安装CDH6.2.0集群。

环境介绍:

  • 安装部署使用root用户进行操作
  • 安装的CDH和CM版本为6.2.0
  • OS为RedHat7.2
  • CDH集群的三个节点信息如下:

2 安装前置准备

2.1 服务器相关设置

安装CDH集群时需要做一些前置的准备,本次安装使用的环境已经做好前置准备,需要做的准备如下:

1.hosts以及hostname配置正确

2.服务器没有启用IPv6且配置了静态IP

3.禁用SELinux

4.关闭防火墙

5.设置swappiness为1

6.关闭透明大页面

7.配置NTP时钟同步

8.安装元数据库MySQL并创建好需要的数据库和用户

2.2 配置本地yum源

1.在官网下载好安装CDH集群需要的rpm包,地址如下:

1https://archive.cloudera.com/cdh6/6.2.0/redhat7/yum/RPMS/ 2 3 4

将上面所有的rpm包下载到服务器,如下:

在浏览器进行验证

2.执行createrepo命令

1createrepo . 2 3 4

3.创建repo文件

创建cdh的repo

1[cdhrepo] 2name = cdh_repo 3baseurl = http://192.168.0.178/cdh6_rpm/ 4enable = true 5gpgcheck = false 6 7 8

创建cm的repo

1[cm6.2.0] 2name=cm_repo 3baseurl=http://192.168.0.178/cm6.2.0/ 4enabled=1 5gpgcheck=0 6 7 8

4.执行yum命令,查看本地yum源是否配置成功

1yum clean all 2yum repolist 3 4 5

3 安装Cloudera Manager

1.yum安装Cloudera Manager Server

1yum -y install cloudera-manager-server 2 3 4

2.初始化数据库

1/opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm cm password 2 3 4

3.启动Cloudera Manager Server

1systemctl start cloudera-scm-server 2systemctl status cloudera-scm-server 3 4 5

4.访问CM

4 安装CDH

1.登陆CM,admin/admin,进入欢迎页

2.同意许可

3.选择试用版

4.CDH安装欢迎页

5.集群名称

6.指定要安装的主机

7.选择存储库

CDH选择数据包的方式

指定CM的自定义存储库

8.JDK的安装

9.输入主机密码

10.集群安装需要的包

11.检测CDH版本

12.检查主机正确性

13.选择服务

14.为服务分配角色

15.设置数据库

16.集群设置

17.首次运行集群

18.集群安装完成

19.CM主页如下图

5 CDH组件测试

1.HDFS

1[root@cdh178 ~]# sudo -u hdfs hdfs dfs -mkdir /user/root 2[root@cdh178 ~]# sudo -u hdfs hdfs dfs -chown root:root /user/root 3[root@cdh178 ~]# hadoop fs -put data.txt /user/root 4[root@cdh178 ~]# hadoop fs -cat /user/root/data.txt 5 6 7

2.Hive

建表

插入数据

查询

3.Impala

4.MapReduce

6 总结

1.用CM以rpm安装与parcel安装在步骤上没有太大的区别,只是在指定存储库的那一步,rpm安装需要指定自己制作的存储库地址,而parcel安装只需要指定parcel包所在目录。

2.与rpm安装CDH6.2相比,除了CM界面上有些许不同之外,在步骤上也没有太大的差异,只是C6与C5的cm初始化脚本那一步不一样,需要注意。

Fayson的github:
https://github.com/fayson/cdhproject

代码交流 2021