如何获取特定正在运行的Hadoop作业的作业ID

Question

我需要获取特定Hadoop工作的ID。 在我的情况下，我在远程给一个突击突击队吃午餐，然后我用这个突击队去验证工作状态：

hadoop job -status job_id | grep -w 'state'   

我可以从GUI获取此信息，但是我去做一些事情 谁能帮助我！！！

Answer 1

您可以通过浏览器使用Yarn REST API，也可以从命令行使用curl。它将列出所有当前正在运行和先前正在运行的作业，包括sqoop和sqoop生成并执行的mapreduce作业。如果已启动并运行它，请首先使用UI，只需将浏览器指向http:<host>:8088/cluster（不确定所有hadoop发行版上的端口是否相同。我相信8088是apache上的默认端口）。或者，您可以直接使用yarn命令，例如yarn application -list。