在最后一次火花提交完成（或失败）+ xxx时间

Question

我使用的是亚马逊的EMR群集，但我没有使用添加步骤API。我想要一种关闭群集的方法，例如，如果它已经闲置了3天。

如果我要构建它，我可能只是在集群上运行历史命令并查找最后一个spark-submit命令。还有更好的方法吗？

Answer 1

最简单的方法是检查纱线作业列表。您可以使用以下方式显示正在运行的作业：

yarn application -list

-list还为您提供了一些您可能想要探索的选项。