我试图在Windows 7上的Python 3.6中使用ThreadPoolExecutor
,似乎默认忽略了异常或停止程序执行。示例代码:
#!/usr/bin/env python3
from time import sleep
from concurrent.futures import ThreadPoolExecutor
EXECUTOR = ThreadPoolExecutor(2)
def run_jobs():
EXECUTOR.submit(some_long_task1)
EXECUTOR.submit(some_long_task2, 'hello', 123)
return 'Two jobs was launched in background!'
def some_long_task1():
print("Task #1 started!")
for i in range(10000000):
j = i + 1
1/0
print("Task #1 is done!")
def some_long_task2(arg1, arg2):
print("Task #2 started with args: %s %s!" % (arg1, arg2))
for i in range(10000000):
j = i + 1
print("Task #2 is done!")
if __name__ == '__main__':
run_jobs()
while True:
sleep(1)
输出:
Task #1 started!
Task #2 started with args: hello 123!
Task #2 is done!
它挂在那里直到我用 Ctrl + C 杀死它。
但是,当我从1/0
删除some_long_task1
时,任务#1完成没有问题:
Task #1 started!
Task #2 started with args: hello 123!
Task #1 is done!
Task #2 is done!
我需要捕获在ThreadPoolExecutor
以某种方式运行的函数中引发的异常。
Python 3.6(Minconda),Windows 7 x64。
答案 0 :(得分:4)
ThreadPoolExecutor.submit
会返回一个future object,表示计算结果一旦可用。为了不忽略作业引发的异常,您需要实际访问此结果。首先,您可以更改run_job
以返回创建的期货:
def run_jobs():
fut1 = EXECUTOR.submit(some_long_task1)
fut2 = EXECUTOR.submit(some_long_task2, 'hello', 123)
return fut1, fut2
然后,让期货的顶级代码wait完成,并访问其结果:
import concurrent.futures
if __name__ == '__main__':
futures = run_jobs()
concurrent.futures.wait(futures)
for fut in futures:
print(fut.result())
对执行引发异常的未来调用result()
会将异常传播给调用者。在这种情况下,ZeroDivisionError
将在顶层提升。
答案 1 :(得分:2)
您可以使用try
语句处理异常。这就是您的some_long_task1
方法的样子:
def some_long_task1():
print("Task #1 started!")
try:
for i in range(10000000):
j = i + 1
1/0
except Exception as exc:
print('some_long_task1 generated an exception: {}'.format(exc))
print("Task #1 is done!")
在脚本中使用方法时的输出:
Task #1 started!
Task #2 started with args: hello 123!
some_long_task1 generated an exception: integer division or modulo by zero
Task #1 is done!
Task #2 is done!
(the last while loop running...)
答案 2 :(得分:0)
如前所述,有两种方法可以捕获 ThreadPoolExecutor
的异常 - 检查 future
中的异常或记录它们。这一切都取决于人们想要处理潜在的例外情况。一般来说,我的经验法则包括:
log.exception
是更好的选择。它需要添加额外的逻辑来通过 future.exception()
记录相同数量的信息。future
的状态是要走的路。此外,您可能会发现函数 as_completed 在这种情况下也很有用。