蜂巢应用程序显示运行,即使从命令行杀死后

时间:2019-01-08 14:25:05

标签: hive yarn apache-tez

我在相当大的数据集上运行了一个配置单元查询,查询花费了太多时间,因此我决定使用:p终止该应用程序。

    yarn kill -application-id

现在,当我使用以下命令从CLI进行检查时:

    yarn application -list 

然后上述应用程序不会显示在列表中。

但是,当我从ambari登录到Tez视图时,该应用程序显示仍处于运行状态(自创建以来几乎已存在24小时)。

我尝试从命令行再次杀死它,但是它说应用程序已经完成。

我还检查了资源管理器UI,该作业的状态表明该作业已被杀死。

因此,每当我尝试运行任何新的配置作业时,它都被排入队列,而我无法运行任何其他作业。

请帮助!

2 个答案:

答案 0 :(得分:0)

TEZ VIEW是应用程序时间轴服务器信息的导出。如果使用yarn kill,配置单元将无法正确通知YARN Application Timeline Server查询已终止。因此,您仍会在tez视图中看到它们正在运行,因为ATS从未收到过任何进入停止/失败状态的更新。如果您无法运行新的配置单元作业,则与被杀死的应用程序仍在tez视图中显示为正在运行的事实无关,您应该对此进行单独的故障排除。您描述的错误纯粹是表面上的错误,并记录在以下位置:

答案 1 :(得分:0)

所以我发现清除队列以便可以运行其他查询的方法是转到/ hadoop / yarn / timeline,备份文件并重新启动YARN。 TEZ队列已清除,我可以再次从配置单元视图中运行查询。

不过,我要提一下的是,这将清除所有查询(针对所有用户)。