AWS EMR中的Hadoop:关闭终端会杀死hadoop作业吗?

时间:2014-03-14 00:46:44

标签: hadoop amazon-web-services ssh

在不杀死我的Hadoop工作的情况下关闭终端或关闭计算机是否安全?

我正在通过Amazon的Elastic Map Reduce上的集群运行Hadoop作业。我的终端打开了,我的ssh进入我的主节点。当我尝试关闭终端时,我收到一条警告,告知所有进程都将被终止。这会破坏我的Hadoop工作吗?或者我可以关闭电脑并稍后重新开机吗?我需要一个特殊工具(如tmux)吗?

如果重要,我在Ubuntu 13.10中使用默认(bin/bash)终端。我用Pig脚本开始工作。

2 个答案:

答案 0 :(得分:1)

不,你可以高兴地杀死终端。 mapreduce作业正在EMR集群上运行,并将继续这样做。您可以回来,登录主节点并随时检查lynx http://localhost:9100 是否有jotracker状态。
要杀死hadoop作业,您必须运行命令hadoop job -kill jobflowid
因此,没有实际意义 - 在任何时候您都可以登录到jobtracker并查看您的工作状态。另请注意,jobtracker的端口地址9100在EMR集群上是默认的。
干杯......

答案 1 :(得分:1)

关闭终端不会终止已经解雇的作业你也可以从jobtracker public url public-dns-of-cluster查看作业状态:9100 / jobtacker.jsp。