hadoop伪分布式运行案例（二）——YARN运行MapRedu

一、配置集群

1.配置yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.7.0_79

2.配置yarn-site.xml

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

3.mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.7.0_79

4.配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

二、启动集群

#启动resourcemanager
sbin/yarn-daemon.sh start resourcemanager

#启动nodemanager
sbin/yarn-daemon.sh start nodemanager

三、集群操作

1.yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

2.删除文件系统上的output文件（已经使用的话，不可删除）

bin/hdfs dfs -rm -r /user/honey/mapreduce/wordcount/output

3.创建文件系统上的input文件

hadoop fs -mkdir -p /user/honey/wcinput

4.上传文件到文件系统上的input

hadoop fs -put wcinput/wc.input /user/honey/wcinput

4.执行mapreduce程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/honey/wcinput /user/honey/wcoutput

5.查看运行结果

bin/hdfs dfs -cat /user/honey/mapreduce/wordcount/output/*

四、其他操作

• 停止集群

sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager