杀死火花应用

Question

我想杀死Spark应用程序ID，如果它运行了多个小时，例如。一小时。有没有一种方法可以在特定用户ID下运行的Unix脚本中实现。用户ID-application_user

<asp:Button ID="btn1" runat ="server" data-toggle="modal" data-target="#PopupBookForm"/>

Answer 1

我可以提出下一个解决方案：

1. 您可以从applicationId解析应用程序启动的时间。 （使用curl和Spark rest API创建命令以获取应用程序列表并获取正确的applicationId：https://spark.apache.org/docs/latest/monitoring.html）
   完成此步骤后，您将拥有一个格式为YYYYMMDDHHMMSS的日期（例如20181112020100）

2. 现在，您需要使用以下命令获取当前时间：date +%Y%m%d%H%M%S

3. 在一个周期中，获取当前时间，并将其与您从第一步获得的时间（应用程序启动时间）进行比较，并将其与当前时间进行比较。例如，当应用程序启动时间与当前时间之差为两个小时时，您将退出循环并使用kill命令：yarn application -kill application_ID

以下是建议步骤的实现之一：https://community.hortonworks.com/articles/86037/script-to-kill-yarn-application-if-it-is-running-m.html

希望，这将很有用。