Question

使用hadoop 2.4.1，当我尝试在hadoop 2.4.1中使用dfs时，一切正常。我总是使用start-dfs.sh脚本启动，以便在系统中启动并运行以下服务 datanode，namenode和secondary namenode - 这是完全没法的

昨天，我尝试在etc / hadoop / mapred.xml中配置mapred.xml，如下所示

**conf/mapred-site.xml:**

<configuration>
 <property>
     <name>mapred.job.tracker</name>
     <value>localhost:9001</value>
 </property>
</configuration>

我做了以下事情 1.格式化namenode 我开始start-all.sh

当我查看日志时，只有以下日志可用，

1. hadoop-datanode.log + out
2. hadoop-namenode.log + out
3. hadoop-secondarynamenode.log + out
4. yarn-nodemanager.log + out
5. yarn-resourcemanager.log + out

当我提供jps时，只有以下服务正在运行，

1. secondarynamenode
2. namenode
3. datanode
4. nodemanager
5. resourcemanager

我在那里找不到作业跟踪器，而且mapreduce日志也不可用，我们是否需要在haddop 2.4.1中为mapreduce指定一些东西

其他信息，我查看了50030的网络控制台端口 - 无法使用的工作跟踪器

我用9001的端口检查进行了操作

接受Anyhelp请

Answer 1

从Hadoop 2.0开始，mapreduce默认处理框架已经从经典的mapreduce改为YARN。当您使用start-all.sh启动hadoop时，它会在内部调用start-yarn.sh和start-dfs.sh。

如果你想使用mapreduce而不是yarn，请使用start-dfs.sh和start-mapred.sh分别启动dfs和mapreduce服务（mapreduce1二进制文件位于目录${HADOOP_HOME}/bin-mapreduce1和所有配置文件中在目录${HADOOP_HOME}/etc/hadoop-mapreduce1下。

所有YARN和HDFS启动程序都位于hadoop主目录的sbin目录中，在那里找不到start-mapred.sh脚本。 start-mapred.sh脚本位于bin-mapreduce1目录中。

hadoop 2.4.1中的Dfs和Mapreduce

1 个答案: