为什么在HiveServer2中持有Tez Queue?

时间:2015-12-07 10:47:07

标签: hadoop hive apache-tez

我使用Python和Thrift在分离的队列(Fair Scheduler)中通过HiveServer2在Tez引擎上运行查询。有些查询在Choosing a session from the defaultQueuePool停止,但队列为空。

...
15/12/07 12:57:11 INFO ql.Driver: Query ID = hadoop_20151207125711_3060df1a-1eda-4b60-9688-a2fe78573125
15/12/07 12:57:11 INFO ql.Driver: Total jobs = 1
15/12/07 12:57:11 INFO log.PerfLogger: 
15/12/07 12:57:11 INFO log.PerfLogger: 
15/12/07 12:57:11 INFO log.PerfLogger: 
15/12/07 12:57:11 INFO ql.Driver: Launching Job 1 out of 1
15/12/07 12:57:11 INFO ql.Driver: Starting task [Stage-1:MAPRED] in serial mode
15/12/07 12:57:11 INFO tez.TezSessionPoolManager: Choosing a session from the defaultQueuePool

为什么会这样?

1 个答案:

答案 0 :(得分:0)

解决同样的问题。在现有会话中,将tez.queue.name设置为其他队列,然后重试原始命令...在我的情况下,它可以工作。似乎它重新初始化了被阻止的会话池。我仍然试图重现这一点,并尝试一些cfg更改