cm 怎么限制hue数据下载_0724-6.2.0-CM接管rpm方式安装的无CM的CDH集群-2

6.2 添加HDFS

1.从CM上添加HDFS

666d050251cd187bbfbd3c19611ec7ff.png

2.选择角色,保持与之前的安装一致

8ee19d8b10949d8bdf420a5a8ee85d0b.png

3.保持目录与之前一致

4f0bb07c1b7617bdbb85c06d6d0c2e59.png

4.删除/data0/dfs/nn目录下NN的元数据,启动HDFS

6d9dbdb7962cc05a3b98e9d1b72e6485.png

5.将之前备份的NameNode元数据拷贝回/data0/dfs/nn目录

6.验证HDFS的数据与之前是否一致

列出HDFS的目录,与之前一致,能够看到最开始上传用作测试的三个文件

使用fsck命令查看,数据与之前一致

8a304511d1e4cb5bed9d910a4dea3c9f.png

6.3 添加Yarn

1.在CM上添加Yarn服务

4f346fb06c508791a66fd46b69419348.png

2.选择角色,保持与安装的一致

3.设置Yarn的目录与之前安装的一致

4.启动Yarn

5.Yarn启动成功

6.运行MR示例程序进行测试,示例程序运行成功

674959873afe430da6ad00a35428757a.png

6.4 添加Spark

1.从CM上添加Spark

76a984f45d64b5132c6d0b8bc2caab22.png

2.保持角色与之前一致,Gateway选择所有节点

3.启动Spark

4.Spark安装成功

050ba6b8369a4553ac8684848be49b4e.png

重启相关的服务

433146be2385e1bc46cb92b867f5a8d8.png

重新部署客户端配置

d55a404408b7bb16bcf2b976cbe8e219.png

重启成功

6.5 添加Hive

1.在CM上添加Hive服务

a7b4b9449c58607bdadf8ec9fea2f6c5.png

2.为Hive选择依赖关系

2e739dc2d3144f5a1807b9b2eb6151aa.png

3.选择角色,与之前的安装保持一致

7af5069c09e08b185b0f46a82a4687f3.png

4.设置数据库

d5f1035154a98c3dc459ff146f663966.png

5.Hive的目录,确保与之前安装配置的一致

b48478d84cb8ee475b1fcffb0ed86860.png

6.启动Hive

5a9e854fbc8b13b1e5672e9de27c4d73.png

7.Hive安装成功

451d54323f3c30910fe886a6f893e4b5.png

8.验证Hive的数据与之前是否一致

查看库,可以看到之前创建的两个库成c6_test1、c6_test2

18c62a7bd7bbbae10c2a3dc8e1f71b3f.png

查看库c6_test1,可以看到之前创建的表web_returns

883de2b1352a1f50a1583c8f57c98047.png

查看表web_returns的数据,与之前一致

9d9c1892e566288e4c6ade3f1e2d6d25.png

查看库c6_test2,可以看到之前创建的表test_partition

309fb52c4a6358eb2596f0d6c287880f.png

查看表test_partition的数据,与之前一致

4dddb43ca04fc2bc3c9983ec9787da23.png

0c79e59cdc076d114e4a6702451b0541.png

6.6 添加Impala

1.在CM上添加Impala

2.为Impala选择角色,与之前的安装保持一致

3.为Impala指定目录

4.创建Impala用户目录

5.Impala安装成功

6.启动Impala

7.测试Impala使用

ed440a63a9040e9fe9e23bef97dafa6f.png

6.7 添加Oozie

1.在CM上添加Oozie服务

2.为Oozie服务选择依赖关系

f322385182482649cf720e31ef48055b.png

3.选择角色,保持与之前一致

4.设置数据库

5.指定Oozie共享库目录和数据目录,与之前的安装保持一致

27541303638dfa010116b1331ddabbe1.png

6.启动Oozie服务

7.Oozie服务安装成功

4f687ad9c1901b3451e72c914d9bb257.png

6.8 添加Hue

1.在CM上添加Hue

2.为Hue选择依赖关系

3.选择角色,与之前安装时一致

4.设置数据库

5.启动Hue

3f27a87fda8deb63ec0c6088f2ca3266.png

6.Hue服务添加成功

7.访问Hue

e06a083dee4fcf6ca17a8a89f7ba4e94.png

8.测试Hue的使用

使用Hive

6e540e3b567902942ab0cba5fd3cd12d.png

使用Impala

至此CM接管完成,CM主页如下图所示:

d033fe1a159ccb3322e49409d7569e24.png

总结

1.在接管的两个文档中,针对CDH5.10.0和CDH6.2.0两个版本做了接管,在这个过程中,思路与步骤都是一致的,只是可能其中有些细节的地方有区别,大体上接管的步骤是没有区别的。

2.在做接管时,需要对配置文件以及元数据等做备份,在接管过程中可能会需要使用,以及出现错误可以通过备份的数据进行还原。

3.使用CM接管原集群后,能够通过CM更好的监控集群服务的状态以及使用情况,方便更好的对集群进行管理。

代码交流 2021