使用命令行启动和停止hadoop生态系统的最佳方法是什么?

时间:2013-07-10 11:24:50

标签: hadoop

我看到有几种方法可以启动hadoop生态系统,

  1. start-all.sh & stop-all.sh 哪个说不推荐使用start-dfs.sh& start-yarn.sh。

  2. start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh

  3. hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager

  4. 编辑:我认为每个命令都必须有一些特定的用例。

3 个答案:

答案 0 :(得分:58)

start-all.sh& stop-all.sh:用于一次启动和停止hadoop守护进程。在主计算机上发出它将启动/停止集群的所有节点上的守护程序。你已经注意到已经弃用了。

start-dfs.sh,stop-dfs.sh和start-yarn.sh,stop-yarn.sh:与上述相同,但在所有节点上分别启动/停止HDFS和YARN守护程序来自主机。建议现在在start-all.sh&上使用这些命令。 stop-all.sh

hadoop-daemon.sh namenode / datanode和yarn-deamon.sh resourcemanager:手动启动单个计算机上的各个守护程序。您需要转到特定节点并发出这些命令。

使用案例:假设您已向群集添加了新DN,并且只需在此计算机上启动DN守护程序,

bin/hadoop-daemon.sh start datanode

注意:如果要在一台计算机上的所有节点上启动所有守护程序,则应启用ssh。

希望这可以回答您的问题。

答案 1 :(得分:5)

来自Hadoop page

start-all.sh 

这将在您的计算机上启动Namenode,Datanode,Jobtracker和Tasktracker。

start-dfs.sh

这将调出HDFS,并在运行该命令的计算机上运行Namenode。在这样的机器上,您需要start-mapred.sh来单独启动作业跟踪器

start-all.sh/stop-all.sh必须在主节点

上运行

您可以在单节点群集上使用start-all.sh(即,您将在同一节点上拥有所有服务.namenode也是datanode并且是主节点)。

多节点设置中,

您将在主节点上使用start-all.sh,并且还将启动从站上所需的内容。

可替换地,

在希望 Namenode 运行的节点上使用start-dfs.sh。这将显示 HDFS ,其中运行命令的计算机上运行的 Namenode 和从站文件中列出的计算机上的 Datanodes 。< / p>

在计划运行 Jobtracker 的计算机上使用start-mapred.sh。这将打开Map / Reduce群集,其中Jobtracker在您运行命令的计算机上运行,​​ Tasktrackers 在从站文件中列出的计算机上运行。

Tariq所述的

hadoop-daemon.sh用于每个节点。主节点不会启动从站上的服务。在单节点设置中,这将与start-all.sh相同。在多节点设置中,您将必须访问每个节点(主节点和从节点)并执行他们每个人。

查看this start-all.sh,它会调用 config ,然后是 dfs mapred

答案 2 :(得分:0)

<强>启动

start-dfs.sh (starts the namenode and the datanode)
start-mapred.sh (starts the jobtracker and the tasktracker)

<强>停止

stop-dfs.sh
stop-mapred.sh