在杀死用python子进程Popen启动的进程时,如何关闭stdout-pipe?

时间:2009-10-26 11:18:44

标签: python pipe subprocess stdout kill

我想知道在杀死在不同线程中启动的子进程时是否可以关闭通信管道。如果我不调用communication(),那么kill()将按预期工作,在一秒钟而不是五秒后终止进程。

我找到了类似问题here的讨论,但我没有得到真正的答案。我假设我要么必须能够关闭管道,要么明确地杀死子子进程(在示例中为“sleep”)并杀死它以解除对管道的阻塞。

我也尝试在SO上找到答案,但我只找到了thisthis以及this,据我所知,这些问题没有直接解决这个问题( ?)。

所以我想要做的是能够在第二个线程中运行命令并获取其所有输出,但是当我愿意时能够立即杀死它。我可以通过一个文件和尾巴那个或类似的,但我认为应该有一个更好的方法来做到这一点?

import subprocess, time
from threading import Thread

process = None

def executeCommand(command, runCommand):
    Thread(target=runCommand, args=(command,)).start()

def runCommand(command):
    global process
    args = command.strip().split()
    process = subprocess.Popen(args, shell=False, stdout=subprocess.PIPE)

    for line in process.communicate():
        if line:
            print "process:", line,

if __name__ == '__main__':
    executeCommand("./ascript.sh", runCommand)
    time.sleep(1)
    process.kill()

这是剧本:

#!/bin/bash
echo "sleeping five"
sleep 5
echo "slept five"

输出

$ time python poc.py 
process: sleeping five

real    0m5.053s
user    0m0.044s
sys 0m0.000s

3 个答案:

答案 0 :(得分:6)

我认为问题在于process.kill()只会杀死直接子进程(bash),而不是bash脚本的子进程。

此处描述了问题和解决方案:

使用Popen(...,preexec_fn = os.setsid)创建进程组,并使用os.pgkill来终止整个进程组。例如

import os
import signal
import subprocess
import time
from threading import Thread

process = None

def executeCommand(command, runCommand):
    Thread(target=runCommand, args=(command,)).start()

def runCommand(command):
    global process
    args = command.strip().split()
    process = subprocess.Popen(
        args, shell=False, stdout=subprocess.PIPE, preexec_fn=os.setsid)

    for line in process.communicate():
        if line:
            print "process:", line,

if __name__ == '__main__':
    executeCommand("./ascript.sh", runCommand)
    time.sleep(1)
    os.killpg(process.pid, signal.SIGKILL)

$ time python poc.py 
process: sleeping five

real    0m1.051s
user    0m0.032s
sys 0m0.020s

答案 1 :(得分:0)

在我看来,最容易做到这一点并避免多线程问题的方法是从主线程设置kill标志,并在通信之前在脚本运行线程中检查它,在执行时杀死脚本标志是True

答案 2 :(得分:-1)

看起来你可能是Python超粗粒度并发的受害者。将脚本更改为:

#!/bin/bash
echo "sleeping five"
sleep 5
echo "sleeping five again"
sleep 5
echo "slept five"

然后输出变为:

process: sleeping five

real    0m5.134s
user    0m0.000s
sys     0m0.010s

如果整个脚本运行,则时间为10秒。所以看起来python控制线程直到bash脚本休眠后才真正运行。同样,如果您将脚本更改为:

#!/bin/bash
echo "sleeping five"
sleep 1
sleep 1
sleep 1
sleep 1
sleep 1
echo "slept five"

然后输出变为:

process: sleeping five

real    0m1.150s
user    0m0.010s
sys     0m0.020s

简而言之,您的代码按逻辑实现。 :)