如何在hive中同时提交多个查询

时间:2012-09-25 05:23:30

标签: concurrency hadoop hive

我正在尝试使用CLI提交多个Hive查询,并且我希望查询同时运行。但是,这些查询是按顺序运行的。

有人可以告诉我如何调用一些Hive查询,以便它们实际上同时运行吗?

1 个答案:

答案 0 :(得分:3)

这不是因为Hive,它与您的Hadoop配置有关。默认情况下,Hadoop使用简单的FIFO队列来提交和执行作业。但是,您可以配置不同的策略,以便一次可以运行多个作业。

这是Cloudera在2008年关于此事的一篇不错的博客文章:Job Scheduling in Hadoop

除了默认的任何调度程序之外,几乎所有调度程序都支持并发作业,所以请选择!