如何并行执行多个PIG脚本？

Question

我有多个PIG脚本，目前我正在使用命令pig -x mapreduce /path/to/Script/Script1.pig＆amp;＆amp ;;顺序执行它。 /path/to/Script/Script2.pig＆amp;＆amp; /path/to/Script/Script3.pig

现在我正在寻找并行执行这些脚本以提高性能，因为所有脚本都是相互独立的。我试图搜索它但没有完全准确。

那么我可以通过哪种方式并行执行所有PIG脚本吗？

Answer 1

#!/bin/bash

pig -x mapreduce /path/to/Script/Script1.pig &
pig -x mapreduce /path/to/Script/Script2.pig &
pig -x mapreduce /path/to/Script/Script3.pig &

wait
echo "Done!"

Answer 2

您应该可以使用Apache Oozie http://oozie.apache.org/