yarn集群搭建以及任务提交---官方文档的使用

关于集群的搭建,其实就是说明书的使用问题,会用说明书,很简单,不会用说明书,只能去参考别人的智慧,针对这个情况,对于yarn的搭建,我就把官方文档的相关文档拿出来进行搭建
1、打开官方网址

hadoop.apache.org

2、选择属于自己的hadoop版本,能看懂的直接看英文,看不懂的也可以借助浏览器的翻译功能,就会有下面的这样一个页面
在这里插入图片描述
根据官方文档,我们知道,hadoop的设置分为单节点以及集群设置,一步步的来

首先是单节点的设置
1、在这里插入图片描述
单节点上的yarn配置,点击链接,我们会看到
在这里插入图片描述
它提示说:
您可以通过设置一些参数并另外运行ResourceManager守护程序和NodeManager守护程序,以伪分布式模式在YARN上运行MapReduce作业。
那找到如何配置的位置了,接下来就是配置相应的文件了,单节点的yarn的配置是非常简单的,在hadoop的/etc/hadoop目录下,找到对应的mapred-site.xml 和yarn-site.xml这两个文件,然后将官网的配置信息进行拷贝即可
在这里插入图片描述

1配置etc / hadoop / mapred-site.xml 2 3<configuration> 4 <property> 5 <name> mapreduce.framework.name </ name> 6 <value> yarn </ value> 7 </ property> 8</ configuration> 9 10配置etc / hadoop / yarn-site.xml: 11 12<configuration> 13 <property> 14 <name> yarn.nodemanager.aux-services </ name> 15 <value> mapreduce_shuffle </ value> 16 </ property> 17</ configuration> 18 19

接下来启动yarn

使用start-yarn.sh启动yarn
使用jps进行查看,会发现,会有resourcemanager以及nodemanager两个进程

接下来是集群yarn的搭建

https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/ClusterSetup.html
链接奉上,自己研究一下吧

注意:

要注意的一点,yarn和hdfs是两个不同的部分,相互之间不影响
可以单独启动yarn而不启动hdfs,但是如果mapreduce等处理进程需要使用到hdfs中的数据,必须启动hdfs
hdfs和yarn一起启动可以使用start-all.sh

提交mapreduce任务

1hadoop jar jar包名 类名全路径 2 3

既然我说hdfs和yarn是两个不同的框架,相互之间互不影响,那hdfs有web端的管理页面,yarn是不是也有啊,对的,没有问题,在官网中也对他有相应的解释

ResourceManager- http:// localhost:8088 /
NameNode-http://localhost:50070/

关于yarn的调优以及任务提交问题,请点击

1https://blog.csdn.net/weixin_42864905/article/details/104617925 2 3

代码交流 2021