可以使用xargs并行运行几个任意命令吗?

时间:2013-06-05 14:41:00

标签: linux shell command-line parallel-processing xargs

我希望能够提供一长串任意/不同的命令(变化的二进制/可执行文件和参数),并让xargs并行运行这些命令(xargs -P)。

当只有不同的参数时,我可以使用xargs -P。当我想改变我遇到困难的可执行文件和参数时。

示例:command-list.txt

% cat command-list.txt
binary_1 arg_A arg_B arg_C 
binary_2 arg_D arg_E
.... <lines deleted for brevity>
binary_100 arg_AAA arg_BBB

% xargs -a command-list.txt -P 4 -L 1
 ** I know the above command will only echo my command-list.txt **

我知道GNU并行,但现在只能使用xargs。我也不能只是背景所有的命令,因为主机可能会有太多的命令一次处理。

解决方案可能正在盯着我。提前谢谢!

1 个答案:

答案 0 :(得分:3)

如果您无法访问并行,一种解决方案就是使用sh作为参数。

例如:

xargs -a command-list.txt -P 4 -I COMMAND sh -c "COMMAND"

-c for sh基本上只执行给定的字符串(而不是查找文件)。手册页说明如下:

-c string   If  the  -c  option  is  present, then commands are read from
            string.  If there are arguments after the  string,  they  are
            assigned to the positional parameters, starting with $0.

-I for xargs告诉它一次运行一个命令(如-L 1)并使用xargs处理的当前行搜索并替换参数(在本例中为COMMAND)。手册页信息如下:

-I replace-str
            Replace occurrences of replace-str in the initial-arguments with
            names read from standard input.  Also, unquoted  blanks  do  not
            terminate  input  items;  instead  the  separator is the newline
            character.  Implies -x and -L 1.

sh似乎对包含引号(“)的命令非常宽容,因此您似乎不需要将它们重新映射到转义引号中。