我需要编写一个shell(bash)脚本,它将执行几个Hive查询。
每个查询都会产生一个包含大量文件的目录。
完成所有查询后,我需要按特定顺序处理所有这些文件。
我想并行运行Hive查询作为后台进程,因为每个进程可能要花费几个小时。
我还想并行化结果文件的处理,但是有一些我不知道如何处理的问题。即完成查询后,我可以立即开始处理第一个和第二个查询的结果,但是对于第三个查询,我需要保留直到前两个处理器完成。第四和第五也一样。
用Java编写这样的程序我不会有任何问题,但是如何在shell中做它-让我感到震惊。
如果有人可以提示我如何在shell脚本中监视这些组件的执行情况,我将不胜感激。