Question

我有一个脚本，它吸收input a list of filenames并在它们上循环以为每个输入文件生成一个输出文件，所以我认为这种情况很容易并行化。

我有一个8核计算机。

我尝试在此命令上使用-parallel标志：

python perfile_code.py list_of_files.txt

但是我无法使其工作，即特定的问题是：如何在Linux中使用python命令在bash中使用parallel以及上述特定情况的参数。

有一个Linux并行命令（sudo apt-get install parallel），我在某处阅读过，可以完成这项工作，但我不知道如何使用它。

大多数互联网资源都在python中说明了如何实现，但是可以用bash做到吗？

请帮助，谢谢。

Based on an answer, here is a working example that is still not working, please suggest how to make it work.

我有一个包含2个文件的文件夹，在此示例中，我只想使用不同的名称并行创建它们的重复项。

# filelist is the directory containing two file names, a.txt and b.txt.
# a.txt is the first file, b.xt is the second file
# i pass an .txt file with both the names to the main program

from concurrent.futures import ProcessPoolExecutor, as_completed
from pathlib import Path
import sys

def translate(filename):
    print(filename)
    f = open(filename, "r")
    g = open(filename + ".x", , "w")
    for line in f:
        g.write(line)

def main(path_to_file_with_list):
    futures = []
    with ProcessPoolExecutor(max_workers=8) as executor:
        for filename in Path(path_to_file_with_list).open():
            executor.submit(translate, "filelist/" + filename)
        for future in as_completed(futures):
            future.result()

if __name__ == "__main__":
     main(sys.argv[1])

Answer 1

根据您的评论，

@Ouroborus不，不考虑这个opensource.com/article/18/5/gnu-parallel我想与这个并行程序一起运行python程序。.对于一个非常特殊的情况..如果可以使用任意转换程序用管道传输到并行..为什么不使用python程序？

我认为这可能会有所帮助：

convert不是被任意选择的。选择它是因为它是一个众所周知的程序，该程序（大致）将通过命令行提供的单个输入文件映射到也通过命令行提供的单个输出文件。

典型的shell for循环可用于遍历列表。在您链接的文章中，它们显示了一个示例

for i in *jpeg; do convert $i $i.png ; done

这（大致）是获取文件名列表，并将它们一个接一个地应用于命令模板，然后运行该命令。

这里的问题是for必须等到命令完成后才能运行下一个命令，因此可能无法充分利用当今的多核处理器。

parallel可以代替for。它假设一个命令可以同时执行多次，每个命令具有不同的参数，而每个实例不会干扰其他实例。

在文章中，他们显示了使用parallel

的命令

find . -name "*jpeg" | parallel -I% --max-args 1 convert % %.png

等效于先前的for命令。区别（仍是大致的区别）是parallel同时运行模板化命令的多个变体，而不必等待每个变体完成。

对于您的具体情况，为了能够使用parallel，您需要：

调整您的python脚本，使其通过命令行获取一个输入（例如文件名）和一个输出（也可能是文件名）。
弄清楚如何设置parallel，以便它可以接收这些文件名的列表，以插入到命令模板中以分别在每个文件上运行python脚本。

Answer 2

您可以只使用普通的shell for命令，并将&背景指示符附加到for内的 python 命令中：

for file in `cat list_of_files.txt`;
   do python perfile_code.py $file &
done

当然，假设您的python代码将自行生成单独的输出。

就是这么简单。尽管不常见-通常，如果您可以编辑程序，则人们会更喜欢使用Python本身来控制循环的并行执行。一种不错的方法是在Python中使用concurrent.futures创建具有8个工作程序的工作程序池-上面的shell方法将同时并行启动所有实例。

假设您的代码具有一个translate函数，该函数采用文件名，则您的Python代码可以写为：

from concurrent.futures import ProcessPoolExecutor, as_completed
from pathlib import Path:

def translate(filename):
    ...

def main(path_to_file_with_list):
    futures = []
    with ProcessPoolExecutor(max_workers=8) as executor:
        for filename in Path(path_to_file_with_list).open():
            executor.submit(translate, filename)
        for future in as_completed(futures):
            future.result()

if __name__ == "__main__":
     import sys
     main(argv[1])

这将不依赖于特殊的shell语法，并且会处理特殊情况，以及数字或工作人员的处理，而这可能很难通过bash正确完成。

Answer 3

不清楚您的问题如何以串行方式运行任务。但是，如果我们假设您运行：

python perfile_code.py file1
python perfile_code.py file2
python perfile_code.py file3
:
python perfile_code.py fileN

然后将其并行化的简单方法是：

parallel python perfile_code.py ::: file*

如果您有一个文件列表，每个文件一行，则使用：

parallel python perfile_code.py :::: filelist.txt

它将在每个cpu线程上并行运行一个作业。因此，如果filelist.txt包含1000000个名称，则它将不会同时运行所有名称，而只会在一个名称完成时才开始一个新作业。

如何在Linux上并行化Python程序

3 个答案: