Question

从我的Python脚本中我需要调用两个外部二进制文件，以便分两步处理文件：

import os, subprocess
sbp = subprocess.Popen(['program_1', '-i', 'input.file', '-o', 'temp.file'])
sbp = subprocess.Popen(['program_2', '-i', 'temp.file', '-o', 'output.file'])                      
os.remove('temp.file')

但是，通过使用基于虚拟RAM的文件而不是基于磁盘的“物理”文件来加速管道并减少磁盘使用量会很不错。我知道我可以使用StringIO或tempfile.SpooledTemporaryFile()来处理Python脚本中的虚拟文件，但有可能将链接传递给外部二进制文件吗？

Answer 1

假设您可以告诉您的2个程序对stdin和stdout进行读写操作，您可以从一个子进程命令管道到另一个：

import os, subprocess
sp1 = subprocess.Popen(['program_1', '-i', 'input.file'], stdout=subprocess.PIPE)
sp2 = subprocess.Popen(['program_2', '-o', 'output.file'], stdin=sp1.stdout)
sp1.stdout.close()
sp2.communicate()

请参阅https://docs.python.org/2/library/subprocess.html#replacing-shell-pipeline。

另一个选项（Unix）是使用命名管道（在操作系统级别创建，例如mkfifo /tmp/mypipe）：

import os, subprocess
os.mkfifo('/tmp/mypipe')
sp1 = subprocess.Popen(['program_1', '-i', 'input.file', '-o', '/tmp/mypipe'])
sp2 = subprocess.Popen(['program_2', '-i', '/tmp/mypipe', '-o', 'output.file'])

还应该可以使用os.pipe()。

Answer 2

from subprocess import Popen
from tempfile import NamedTemporaryFile

tmp = NamedTemporaryFile('w+')
sbp = Popen(['program_1', '-i', 'input.file', '-o', tmp.name])
sbp = Popen(['program_2', '-i', tmp.name, '-o', 'output.file'])                      
tmp.close()

最后tmp将被删除。

从python处理外部二进制文件的输入/输出

2 个答案: