Question

我有一个带有2000键值对键的字典作为应用程序的URL和值作为执行应用程序测试用例的命令。

我需要使用线程并使用子进程模块

启动测试用例命令并行执行

运行一些线程并在std输出后，后续线程卡住了并且失败了。

我尝试通过在代码中切出500个队列项进行检查。它没有受到打击，也收到了测试用例输出报告的邮件。

请告诉我如何避免在中间撞击线程。

我的代码是

import Queue
import subprocess
from threading import Thread
SERVER_COMMANDS = {}
TOTAL_OUTPUT  = []
def run_function(server_commands, receivers, url, test_case_name, mail_send=True):
    threads = []
    q_items = []
    counter = 0
    for server, command in server_commands.iteritems():
        q_items.append(dict(counter=counter,server=server, command=command, server_commands=server_commands))
        counter += 1

    Q = Queue.Queue()
    for item in q_items:
        Q.put(item)

    for i in xrange(90):
      th = Thread(target=_run_function, args=(Q,))
      th.start()
      threads.append(th)
    for th in threads:
      th.join()

    total_output = ''.join(TOTAL_OUTPUT)

def _run_function(q):
    while not q.empty():
        args = q.get()
        server = args.get('server')
        command = args.get('command')
        process = subprocess.Popen(command, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, shell=True)
        process.wait()
        output, error = process.communicate()
        print "The thread number is %s" % args.get('counter')
        SERVER_COMMANDS[server] = output
        TOTAL_OUTPUT.append(output)
        for line in output:
            sys.stdout.write(line)

要获得更好的观点请查看Result Screenshot

Answer 1

一个问题是您在q.empty()和q.get()之间存在竞争条件。如果另一个线程获得这两个调用之间的最后一个项，则线程将阻塞。您应该取消对q.empty()的呼叫，然后拨打q.get_nowait()。然后当它引发Empty异常时，退出该函数。

但是，我怀疑您的真正问题是您在process.wait()之前呼叫process.communicate()。来自docs：

警告当使用stdout=PIPE和/或stderr=PIPE时，这将导致死锁，并且子进程会为管道生成足够的输出，以阻止等待OS管道缓冲区接受更多数据。使用communicate()来避免这种情况。

停止致电process.wait()。

您可能还会发现process pool比启动自己更容易。

Python脚本在启动线程时在中间被杀死

1 个答案: