我正在尝试使用CLI提交多个Hive查询,并且我希望查询同时运行。但是,这些查询是按顺序运行的。
有人可以告诉我如何调用一些Hive查询,以便它们实际上同时运行吗?
答案 0 :(得分:3)
这不是因为Hive,它与您的Hadoop配置有关。默认情况下,Hadoop使用简单的FIFO队列来提交和执行作业。但是,您可以配置不同的策略,以便一次可以运行多个作业。
这是Cloudera在2008年关于此事的一篇不错的博客文章:Job Scheduling in Hadoop
除了默认的任何调度程序之外,几乎所有调度程序都支持并发作业,所以请选择!