在不杀死我的Hadoop工作的情况下关闭终端或关闭计算机是否安全?
我正在通过Amazon的Elastic Map Reduce上的集群运行Hadoop作业。我的终端打开了,我的ssh进入我的主节点。当我尝试关闭终端时,我收到一条警告,告知所有进程都将被终止。这会破坏我的Hadoop工作吗?或者我可以关闭电脑并稍后重新开机吗?我需要一个特殊工具(如tmux)吗?
如果重要,我在Ubuntu 13.10中使用默认(bin/bash
)终端。我用Pig脚本开始工作。
答案 0 :(得分:1)
不,你可以高兴地杀死终端。 mapreduce作业正在EMR集群上运行,并将继续这样做。您可以回来,登录主节点并随时检查lynx http://localhost:9100
是否有jotracker状态。
要杀死hadoop作业,您必须运行命令hadoop job -kill jobflowid
。
因此,没有实际意义 - 在任何时候您都可以登录到jobtracker并查看您的工作状态。另请注意,jobtracker的端口地址9100在EMR集群上是默认的。
干杯......
答案 1 :(得分:1)
关闭终端不会终止已经解雇的作业你也可以从jobtracker public url public-dns-of-cluster查看作业状态:9100 / jobtacker.jsp。