Question

我一直在尝试使用Parallel Python（pp）模块来实现子处理应用程序，该模块使用subprocess和subprocess.PIPE在master和worker之间传递序列化的指令和响应流程。我遇到了工作人员的stdin.read()命令间歇性问题，这些命令返回空字符串，而不是正常的阻塞行为，直到收到命令为止。

经过一些研究，我认为原因是工作进程的io流处于文本模式，并试图传递腌制的对象。他们最终得到的东西看起来像EOF，然后自动返回空。在pp源代码中查看时，它甚至在其调用顺序中指定了-u标志，但是即使调用的Python解释器处于使用状态，生成的工作程序流也似乎不是二进制模式。此处和其他地方建议的解决方法是使用msvcrt模块将io格式更改为二进制，但是由于某些原因，它似乎没有任何作用。

我制作了以下演示脚本。这是Windows 10中的32位Python 2.7.12：

#master.py
import subprocess

if __name__ == '__main__':

    foo = subprocess.Popen(
            args = ['pythonw.exe','-u','-m','worker'],
            stdin = subprocess.PIPE,
            stdout = subprocess.PIPE,
            stderr = subprocess.PIPE,
        )

    open('master_log.txt','a').write(str(foo.stdin) + '\n')
    open('master_log.txt','a').write(str(foo.stdout) + '\n')

...并且在同一文件夹中...

#worker.py
import sys, os, msvcrt

if __name__ == '__main__':
    open('worker_log.txt','a').write('Initial Properties\n')
    open('worker_log.txt','a').write(str(sys.argv[0]) + '\n')
    open('worker_log.txt','a').write(str(sys.stdin) + '\n')
    open('worker_log.txt','a').write(str(sys.stdout) + '\n')
    open('worker_log.txt','a').write('Applying msvcrt.setmode()\n')
    msvcrt.setmode(sys.stdin.fileno(),os.O_BINARY)
    msvcrt.setmode(sys.stdout.fileno(),os.O_BINARY)
    open('worker_log.txt','a').write(str(sys.stdin) + '\n')
    open('worker_log.txt','a').write(str(sys.stdout) + '\n')

在Windows命令提示符下：

python -u -m master.py

产量：

#master_log.txt
<open file '<fdopen>', mode 'wb' at 0x02FA06A8>
<open file '<fdopen>', mode 'rb' at 0x02FA0D30>

#worker_log.txt
Initial Properties
C:\Users\204040537\Documents\Python\pygtp_addin\worker.py
<open file '<stdin>', mode 'r' at 0x031BD020>
<open file '<stdout>', mode 'w' at 0x031BD078>
Applying msvcrt.setmode()
<open file '<stdin>', mode 'r' at 0x031BD020>
<open file '<stdout>', mode 'w' at 0x031BD078>

建议？我不知道如何强制子进程IO流读取二进制文件。

Answer 1

Whelp，此问题的解决方案（似乎）是与工作人员正在使用的内部DLL相关的某件事导致我的python解释器行为异常。交互式Python会话在包含令人讨厌的命令的行完成后退出，即使该行上有多个语句，例如

result = offending_command(some_data); print result

将运行，并打印正确的结果，但是解释器将立即退出。在python脚本中使用有问题的命令并通过execfile（）调用将正常运行，但是python解释器在完成后立即退出。 some_data上的变化会反复导致或阻止这种行为。

我的工作人员继续运行，正如持续的错误日志条目所证明的那样，但他们的stdin管道似乎坏了？日志消息指示stdin管道仍处于打开状态。无论如何，这似乎与子流程无关。

无法在子进程中获取二进制stdin / stdout

1 个答案: