Question

我的机器上安装了Hadoop 2.6.0版。

hduser@vagrant:/usr/local/hadoop$ hadoop version
Hadoop 2.6.0

另外，我使用bash sbin / start-dfs.sh启动了hadoop集群，并看到正在运行的Datanode，namenode和secondarynode。

hduser@vagrant:/usr/local/hadoop$ jps
2627 DataNode
2503 NameNode
3634 Jps
2825 SecondaryNameNode

我也能够提交作业并且能够毫无问题地查看输出。

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5

问题： - 1.我没有看到（nodemanager和resourcemanager）YARN没有运行但仍然完成了作业。 MR工作在哪里运行，哪里可以看到工作状态和工作数量？

这是我的netstat结果： -

hduser @ vagrant：/ usr / local / hadoop $ netstat -tulpn | grep java （并非所有流程都可以识别，非自有流程信息将不会显示，你必须是root才能看到这一切。）

tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      2503/java       
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 127.0.0.1:54310         0.0.0.0:*               LISTEN      2503/java       
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      2825/java

Answer 1

您仍然需要配置和启动YARN服务（start-yarn.sh脚本）并配置mapreduce作业以使用它：

etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

目前，您的工作正在＆＃34;本地＆＃34;模式（作业在你用＆＃34; hadoop jar＆＃34;）推出的JVM内部运行，而不是在＆＃34; yarn＆＃34;模式。它适用于调试，但由于只涉及一个JVM，因此您不会在＆＃34; local＆＃34;中进行并行/分布式计算。模式。

Hadoop MR2作业统计

1 个答案: