我在相当大的数据集上运行了一个配置单元查询,查询花费了太多时间,因此我决定使用:p终止该应用程序。
yarn kill -application-id
现在,当我使用以下命令从CLI进行检查时:
yarn application -list
然后上述应用程序不会显示在列表中。
但是,当我从ambari登录到Tez视图时,该应用程序显示仍处于运行状态(自创建以来几乎已存在24小时)。
我尝试从命令行再次杀死它,但是它说应用程序已经完成。
我还检查了资源管理器UI,该作业的状态表明该作业已被杀死。
因此,每当我尝试运行任何新的配置作业时,它都被排入队列,而我无法运行任何其他作业。
请帮助!
答案 0 :(得分:0)
TEZ VIEW是应用程序时间轴服务器信息的导出。如果使用yarn kill,配置单元将无法正确通知YARN Application Timeline Server查询已终止。因此,您仍会在tez视图中看到它们正在运行,因为ATS从未收到过任何进入停止/失败状态的更新。如果您无法运行新的配置单元作业,则与被杀死的应用程序仍在tez视图中显示为正在运行的事实无关,您应该对此进行单独的故障排除。您描述的错误纯粹是表面上的错误,并记录在以下位置:
答案 1 :(得分:0)
所以我发现清除队列以便可以运行其他查询的方法是转到/ hadoop / yarn / timeline,备份文件并重新启动YARN。 TEZ队列已清除,我可以再次从配置单元视图中运行查询。
不过,我要提一下的是,这将清除所有查询(针对所有用户)。