我看到有几种方法可以启动hadoop生态系统,
start-all.sh & stop-all.sh
哪个说不推荐使用start-dfs.sh& start-yarn.sh。
start-dfs.sh, stop-dfs.sh and start-yarn.sh, stop-yarn.sh
hadoop-daemon.sh namenode/datanode and yarn-deamon.sh resourcemanager
编辑:我认为每个命令都必须有一些特定的用例。
答案 0 :(得分:58)
start-all.sh& stop-all.sh:用于一次启动和停止hadoop守护进程。在主计算机上发出它将启动/停止集群的所有节点上的守护程序。你已经注意到已经弃用了。
start-dfs.sh,stop-dfs.sh和start-yarn.sh,stop-yarn.sh:与上述相同,但在所有节点上分别启动/停止HDFS和YARN守护程序来自主机。建议现在在start-all.sh&上使用这些命令。 stop-all.sh
hadoop-daemon.sh namenode / datanode和yarn-deamon.sh resourcemanager:手动启动单个计算机上的各个守护程序。您需要转到特定节点并发出这些命令。
使用案例:假设您已向群集添加了新DN,并且只需在此计算机上启动DN守护程序,
bin/hadoop-daemon.sh start datanode
注意:如果要在一台计算机上的所有节点上启动所有守护程序,则应启用ssh。
希望这可以回答您的问题。
答案 1 :(得分:5)
来自Hadoop page,
start-all.sh
这将在您的计算机上启动Namenode,Datanode,Jobtracker和Tasktracker。
start-dfs.sh
这将调出HDFS,并在运行该命令的计算机上运行Namenode。在这样的机器上,您需要start-mapred.sh
来单独启动作业跟踪器
start-all.sh/stop-all.sh
必须在主节点
您可以在单节点群集上使用start-all.sh
(即,您将在同一节点上拥有所有服务.namenode也是datanode并且是主节点)。
在多节点设置中,
您将在主节点上使用start-all.sh
,并且还将启动从站上所需的内容。
可替换地,
在希望 Namenode 运行的节点上使用start-dfs.sh
。这将显示 HDFS ,其中运行命令的计算机上运行的 Namenode 和从站文件中列出的计算机上的 Datanodes 。< / p>
在计划运行 Jobtracker 的计算机上使用start-mapred.sh
。这将打开Map / Reduce群集,其中Jobtracker在您运行命令的计算机上运行, Tasktrackers 在从站文件中列出的计算机上运行。
hadoop-daemon.sh
用于每个节点。主节点不会启动从站上的服务。在单节点设置中,这将与start-all.sh
相同。在多节点设置中,您将必须访问每个节点(主节点和从节点)并执行他们每个人。
查看this start-all.sh
,它会调用 config ,然后是 dfs 和 mapred
答案 2 :(得分:0)
<强>启动强>
start-dfs.sh (starts the namenode and the datanode)
start-mapred.sh (starts the jobtracker and the tasktracker)
<强>停止强>
stop-dfs.sh
stop-mapred.sh