我找到了一个创建超时函数here的代码,但这似乎不起作用。完整的测试代码如下:
def timeout(func, args=(), kwargs={}, timeout_duration=1, default=None):
import threading
class InterruptableThread(threading.Thread):
def __init__(self):
threading.Thread.__init__(self)
self.result = None
def run(self):
try:
self.result = func(*args, **kwargs)
except:
self.result = default
it = InterruptableThread()
it.start()
it.join(timeout_duration)
if it.isAlive():
return default
else:
return it.result
def foo():
while True:
pass
timeout(foo,timeout_duration=3)
预期行为:代码在3秒内结束。问题在哪里?
答案 0 :(得分:9)
线程无法正常杀死另一个线程,因此使用当前代码,foo
永远不会终止。 (使用thread.daemon = True
Python程序将在只剩下守护程序线程时退出,但这不允许您终止foo
而不终止主线程。)
Some people尝试使用信号停止执行,但在某些情况下可能会unsafe。
如果您可以修改foo
,可以使用多种解决方案。例如,您可以检查threading.Event
是否突破了while循环。
但是如果你不能修改foo
,你可以使用multiprocessing
模块在子进程中运行它,因为与线程不同,子进程可以终止。以下是一个示例:
import time
import multiprocessing as mp
def foo(x = 1):
cnt = 1
while True:
time.sleep(1)
print(x, cnt)
cnt += 1
def timeout(func, args = (), kwds = {}, timeout = 1, default = None):
pool = mp.Pool(processes = 1)
result = pool.apply_async(func, args = args, kwds = kwds)
try:
val = result.get(timeout = timeout)
except mp.TimeoutError:
pool.terminate()
return default
else:
pool.close()
pool.join()
return val
if __name__ == '__main__':
print(timeout(foo, kwds = {'x': 'Hi'}, timeout = 3, default = 'Bye'))
print(timeout(foo, args = (2,), timeout = 2, default = 'Sayonara'))
产量
('Hi', 1)
('Hi', 2)
('Hi', 3)
Bye
(2, 1)
(2, 2)
Sayonara
请注意,这也有一些限制。
子进程接收父进程变量的副本。如果修改子流程中的变量,它将 NOT 影响
父进程。如果您的函数func
需要修改变量,则需要使用shared variable。
参数(通过args
传递)和关键字(kwds
)必须是
picklable。
timeout
函数都会创建Pool
。这是必要的,因为我们需要pool.terminate()
终止foo
。可能有更好的方法,但我没有想到它。答案 1 :(得分:2)
您需要将it
变为daemon thread:
it = ...
it.daemon = True
it.start()
否则它被创建为用户线程,并且在所有用户线程完成之前,进程不会停止。
请注意,在您的实现中,即使在您等待它之后,线程仍将继续运行并消耗资源。 CPython的Global Interpreter Lock可能会进一步加剧这个问题。
答案 2 :(得分:1)
使用multiprocessing
的好处是进程不共享内存,并且子进程中发生的任何事情都仅限于该功能,并且不会导致其他进程终止。向子进程添加3s超时的最简单方法是:
import multiprocessing
def my_child():
function here
process = multiprocessing.Process(target=my_child)
process.daemon = True
process.start()
process.join(3)
if process.is_alive():
process.terminate()