Question

我想运行一个进程，该进程可能会产生大量输出，最长可达超时秒，捕获stdout / stderr。使用capture()和PIPE作为stdout / stderr根据documentation for subprocess容易出现死锁。

现在，我正在使用poll() - 因为我希望能够在超时后终止进程 - 但我仍然不知道如何使用PIPE来避免死锁。我该怎么做？

目前我只是通过创建临时文件来解决这个问题：

#because of the shitty api, this has to be a file, because std.PIPE is prone to deadlocking with a lot of output, and I can't figure out what to do about it
out, outfile = tempfile.mkstemp()
err, errfile = tempfile.mkstemp()

now = datetime.datetime.now().strftime('%H:%M, %Ss')
print "Running '" + exe + "' with a timeout of ", timeout , "s., starting at ", now
p = subprocess.Popen(args = exe,
                     stdout = out,
                     #for some reason, err isn't working if the process is killed by the kernel for, say, using too much memory.
                     stderr = err,
                     cwd = dir)

start = time.time()

# take care of infinite loops
sleepDuration = 0.25
time.sleep(0.1)
lastPrintedDuration = 0
duration = 0
while p.poll() is None:
    duration = time.time() - start
    if duration > lastPrintedDuration + 1:
        lastPrintedDuration += 1
        #print '.',
        sys.stdout.flush()
    if duration >= timeout:
        p.kill()
        raise Exception("Killed after " + str(duration) + "s.")
    time.sleep(sleepDuration)

if p.returncode is not 0:
    with open(errfile, 'r') as f:
        e = f.read()
        #fix empty error messages
        if e == '':
            e = 'Program crashed, or was killed by kernel.'
        f.close()

    os.close(out)
    os.close(err)
    os.unlink(outfile)
    os.unlink(errfile)
    print "Error after " + str(duration) + 's: ',
    print "'" + e + "'"
    raw_input('test')
    raise Exception(e)
else:
    print "completed in " + str(duration) + 's.'

os.close(out)
os.close(err)
os.unlink(outfile)
os.unlink(errfile)

但即使这个也无法捕获错误，如果进程被内核（内存不足等）杀死。

这个问题的理想解决方案是什么？

Answer 1

不使用文件作为输出，而是返回使用管道，但使用fcntl模块将p.stdout和p.stderr置于非阻塞模式。这将导致p.stdout.read()和p.stderr.read()返回任何可用数据，或者如果没有数据则提出IOError，而不是阻止：

import fcntl, os

p = subprocess.Popen(args = exe,
                     stdout = subprocess.PIPE,
                     stderr = subprocess.PIPE,
                     cwd = dir)
fcntl.fcntl(p.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
fcntl.fcntl(p.stderr.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

outdata, errdata = '', ''
while p.poll() is None:
    try:
        outdata += p.stdout.read()
    except IOError:
        pass
    try:
        errdata += p.stderr.read()
    except IOError:
        pass
    time.sleep(sleepDuration)

正如glglgl在注释中指出的那样，你应该在except IOError子句中做一些额外的检查，以确保它实际上不是真正的错误。

Answer 2

非阻塞模式的问题在于您最终忙于等待I / O.更常规的方法是使用select个调用之一。即使您只有一个文件描述符可供读/写，您也可以在其上粘贴所需的超时，这样您就可以在指定的时间间隔后重新获得控制权，而无需进一步的I / O.

subprocess.popen（）使用管道/失败的stderr重定向

2 个答案: