当前位置:首页 > 行业动态 > 正文

如何通过MapReduce提交YARN命令执行录制控制操作?

MapReduce作业提交到YARN的命令是 yarn jar。

提交MapReduce程序至YARN的步骤与命令

如何通过MapReduce提交YARN命令执行录制控制操作?  第1张

提交MapReduce程序至YARN的基本步骤

1、启动YARN集群:在部署并成功启动YARN集群后,就可以运行各类应用程序,YARN作为资源调度管控框架,提供资源供许多应用程序运行,包括MapReduce、Spark和Flink等。

2、准备数据文件:需要先准备一份数据文件,并将其上传到HDFS中,将文件命名为words.txt,然后上传到HDFS的指定路径。

3、创建HDFS目录:在HDFS中创建输入和输出目录,使用以下命令:

   hadoop fs mkdir p /input/wordcount
   hadoop fs mkdir p /output

4、上传数据文件:将本地的words.txt文件上传到HDFS的输入目录。

   hadoop fs put words.txt /input/wordcount/

5、提交MapReduce任务:使用hadoop jar命令提交MapReduce程序到YARN上执行,提交单词计数(wordcount)示例程序的命令如下:

   hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar wordcount /input/wordcount/ /output/wc

6、查看结果:提交程序后,可以在YARN的WEB UI页面看到运行中的程序,完成运行后,可以在HDFS中查看结果文件,结果文件通常以partr00000命名,表示部分结果文件。_SUCCESS文件是标记文件,表示运行成功。

7、查看日志:点击logs可以查看详细的运行日志,如果配置文件中配置了日志聚合功能,并且设置了历史服务器,才能在网页中显示出来。

常见问题解答

1、问题一:如何提交圆周率计算程序?

答案:提交圆周率计算程序的命令如下:

     hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoopmapreduceexamples3.3.1.jar pi 3 1000

参数pi表示要运行的Java类,参数3表示设置几个map任务,参数1000表示模拟求PI的样本数(越大求的PI越准确,但是速度慢)。

2、问题二:如何查看MapReduce任务的执行状态和结果?

答案:提交程序后,可以在YARN的WEB UI页面(通常是http://<ResourceManager>:8088)看到运行中的程序,完成运行后,可以在HDFS中查看结果文件,结果文件通常以partr00000命名,表示部分结果文件。_SUCCESS文件是标记文件,表示运行成功,点击logs可以查看详细的运行日志。

通过以上步骤和命令,用户可以顺利地将MapReduce程序提交到YARN上执行,并查看任务的执行状态和结果。

0