我使用Python和Thrift在分离的队列(Fair Scheduler)中通过HiveServer2在Tez引擎上运行查询。有些查询在Choosing a session from the defaultQueuePool
停止,但队列为空。
...
15/12/07 12:57:11 INFO ql.Driver: Query ID = hadoop_20151207125711_3060df1a-1eda-4b60-9688-a2fe78573125
15/12/07 12:57:11 INFO ql.Driver: Total jobs = 1
15/12/07 12:57:11 INFO log.PerfLogger:
15/12/07 12:57:11 INFO log.PerfLogger:
15/12/07 12:57:11 INFO log.PerfLogger:
15/12/07 12:57:11 INFO ql.Driver: Launching Job 1 out of 1
15/12/07 12:57:11 INFO ql.Driver: Starting task [Stage-1:MAPRED] in serial mode
15/12/07 12:57:11 INFO tez.TezSessionPoolManager: Choosing a session from the defaultQueuePool
为什么会这样?
答案 0 :(得分:0)
解决同样的问题。在现有会话中,将tez.queue.name设置为其他队列,然后重试原始命令...在我的情况下,它可以工作。似乎它重新初始化了被阻止的会话池。我仍然试图重现这一点,并尝试一些cfg更改