将forked python进程的输出重定向到管道

时间:2015-07-19 16:13:03

标签: python python-2.7 pipe stdout

我想从一个分叉的Python进程写一些已记录的进程到父进程,所以我正在使用管道对:

rpipe, wpipe = os.pipe()

pid = os.fork()
if pid == -1:
    raise TestError("Failed to fork() in prepare_test_dir")

if pid == 0:
    # Child -- do the copy, print log to pipe and exit
    try:
        os.close(rpipe)
        os.dup2(wpipe, sys.stdout.fileno())
        os.dup2(wpipe, sys.stderr.fileno())
        os.close(wpipe)

        self._prepare_test_dir(test)

        sys.stdout.write(self.copy_log)
    finally:
        os._exit(1)

os.close(wpipe)

_, status = os.waitpid(pid, 0)

# XXX: if copy_log is larger than PIPE_BUF (4-8k), everything
# then is going badly
outf = os.fdopen(rpipe)
self.copy_log = outf.read()

return os.WEXITSTATUS(status)

它不起作用,self.copy_log中没有任何内容。我还尝试使用fdopen显式构造stdout对象:

sys.stdout = os.fdopen(wpipe, 'w')

也不行。但是,如果我将print放在dup2之前:

if pid == 0:
    try:
        print 'HELLO'
        os.close(rpipe)
        os.dup2(wpipe, sys.stdout.fileno())
        os.dup2(wpipe, sys.stderr.fileno())
        ...

复制日志成功传递给父级,“HELLO”打印到控制终端。我假设print以某种方式影响sys.stdout(使用延迟初始化或其他)。有什么想法吗?

我在各种Linux平台上使用Python 2.6和2.7。

1 个答案:

答案 0 :(得分:1)

问题似乎不在管道/ dup2相关代码中,而是os._exit。这是杀死python解释器的残酷方法(但是对于分叉的进程是好的,所以它不会触及"共享"对象),但它会导致stdoutstderr不成为刷新,数据丢失。

我来到了孩子的以下代码:

try:
    os.close(rpipe)
    os.dup2(wpipe, sys.stdout.fileno())
    os.dup2(wpipe, sys.stderr.fileno())
    os.close(wpipe)

    print 'aaaaaaaaa'
except:
    traceback.print_exc(20, sys.stderr)
finally:
    sys.stdout.flush()
    sys.stderr.flush()
    os._exit(1)