通过JDBC找出Yarn application_id以用于插入语句

时间:2019-01-01 22:57:31

标签: java hadoop jdbc hive yarn

我正在通过Hive JDBC客户端执行插入查询。 我执行的方法是: boolean execute(String sql) throws SQLException [this]。这是一个阻止呼叫。 我了解到经过一跳之后,将会在Hadoop集群上启动Map-Reduce作业。

问题: 现在,按照我的要求,如果MR作业未在规定的时间内完成,我需要取消该作业。 目前,我知道杀死MR工作的唯一方法是通过纱线yarn application -kill application_1428487296152_25597 要么 hadoop job -kill $jobId。 但是在上述情况下,由于我是通过JDBC执行的,因此我既没有获得Yarn应用程序ID,也没有获得Hadoop Job ID。我该怎么办?

PS:我在单个工作流程中运行了一系列MR应用程序。超时规范。在工作流级别。因此,将需要按需终止流量。

PPS:我正在使用Hive-JDBC客户端的1.2.1版本。

0 个答案:

没有答案