concurrent.futures.ThreadPoolExecutor吞咽异常(Python 3.6)

时间:2018-03-16 13:56:46

标签: python python-3.x windows-7-x64 python-multithreading cpython

我试图在Windows 7上的Python 3.6中使用ThreadPoolExecutor,似乎默认忽略了异常或停止程序执行。示例代码:

#!/usr/bin/env python3

from time import sleep

from concurrent.futures import ThreadPoolExecutor

EXECUTOR = ThreadPoolExecutor(2)


def run_jobs():
    EXECUTOR.submit(some_long_task1)
    EXECUTOR.submit(some_long_task2, 'hello', 123)
    return 'Two jobs was launched in background!'


def some_long_task1():
    print("Task #1 started!")
    for i in range(10000000):
        j = i + 1
    1/0
    print("Task #1 is done!")


def some_long_task2(arg1, arg2):
    print("Task #2 started with args: %s %s!" % (arg1, arg2))
    for i in range(10000000):
        j = i + 1
    print("Task #2 is done!")


if __name__ == '__main__':
    run_jobs()
    while True:
        sleep(1)

输出:

Task #1 started!
Task #2 started with args: hello 123!
Task #2 is done!

它挂在那里直到我用 Ctrl + C 杀死它。

但是,当我从1/0删除some_long_task1时,任务#1完成没有问题:

Task #1 started!
Task #2 started with args: hello 123!
Task #1 is done!
Task #2 is done!

我需要捕获在ThreadPoolExecutor 以某种方式运行的函数中引发的异常。

Python 3.6(Minconda),Windows 7 x64。

3 个答案:

答案 0 :(得分:4)

ThreadPoolExecutor.submit会返回一个future object,表示计算结果一旦可用。为了不忽略作业引发的异常,您需要实际访问此结果。首先,您可以更改run_job以返回创建的期货:

def run_jobs():
    fut1 = EXECUTOR.submit(some_long_task1)
    fut2 = EXECUTOR.submit(some_long_task2, 'hello', 123)
    return fut1, fut2

然后,让期货的顶级代码wait完成,并访问其结果:

import concurrent.futures

if __name__ == '__main__':
    futures = run_jobs()
    concurrent.futures.wait(futures)
    for fut in futures:
        print(fut.result())

对执行引发异常的未来调用result()会将异常传播给调用者。在这种情况下,ZeroDivisionError将在顶层提升。

答案 1 :(得分:2)

您可以使用try语句处理异常。这就是您的some_long_task1方法的样子:

def some_long_task1():
    print("Task #1 started!")
    try:
        for i in range(10000000):
            j = i + 1
        1/0
    except Exception as exc:
        print('some_long_task1 generated an exception: {}'.format(exc))
    print("Task #1 is done!")

在脚本中使用方法时的输出:

Task #1 started!
Task #2 started with args: hello 123!
some_long_task1 generated an exception: integer division or modulo by zero
Task #1 is done!
Task #2 is done!
(the last while loop running...)

答案 2 :(得分:0)

如前所述,有两种方法可以捕获 ThreadPoolExecutor 的异常 - 检查 future 中的异常或记录它们。这一切都取决于人们想要处理潜在的例外情况。一般来说,我的经验法则包括:

  1. 如果我想记录错误,包括跟踪堆栈。 log.exception 是更好的选择。它需要添加额外的逻辑来通过 future.exception() 记录相同数量的信息。
  2. 如果代码需要在主线程中以不同的方式处理不同的异常。检查 future 的状态是要走的路。此外,您可能会发现函数 as_completed 在这种情况下也很有用。