Thread._wait_for_tstate_lock()永远不会返回

时间:2017-11-06 23:04:24

标签: python multithreading python-3.x deadlock

当我按Ctrl + C时,我的程序似乎在死锁中运行。我正试图抓住键盘中断并优雅地停止所有正在运行的线程,但我还没到那里。

我正在使用concurrent.futures.ThreadPoolExecutor。要查找死锁的位置,我正在使用ActiveState中的this receipe

现在,这是完整的堆栈跟踪:

# ThreadID: 4856
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\threading.py", line 884, in _bootstrap
  self._bootstrap_inner()
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\threading.py", line 916, in _bootstrap_inner
  self.run()
File: "C:\Users\niklas\repos\nodepy\craftr\lib\utils\tracer.py", line 66, in run
  self.stacktraces()
File: "C:\Users\niklas\repos\nodepy\craftr\lib\utils\tracer.py", line 80, in stacktraces
  fout.write(stacktraces())
File: "C:\Users\niklas\repos\nodepy\craftr\lib\utils\tracer.py", line 28, in stacktraces
  for filename, lineno, name, line in traceback.extract_stack(stack):

# ThreadID: 6068
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\runpy.py", line 193, in _run_module_as_main
  "__main__", mod_spec)
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\runpy.py", line 85, in _run_code
  exec(code, run_globals)
File: "C:\Users\niklas\repos\nodepy\craftr\.nodepy_modules\.bin\craftr.exe\__main__.py", line 9, in <module>
  sys.exit(nodepy.main.main())
File: "c:\users\niklas\repos\nodepy\nodepy\nodepy\main.py", line 103, in main
  ctx.load_module(ctx.main_module, do_init=False)
File: "c:\users\niklas\repos\nodepy\nodepy\nodepy\context.py", line 253, in load_module
  module.load()
File: "c:\users\niklas\repos\nodepy\nodepy\nodepy\loader.py", line 43, in load
  exec(code, vars(self.namespace))
File: "C:\Users\niklas\repos\nodepy\craftr\lib\main.py", line 110, in <module>
  sys.exit(main())
File: "C:\Users\niklas\repos\nodepy\craftr\lib\main.py", line 106, in main
  return backend.build_main(backend_args, session, module)
File: "C:\Users\niklas\repos\nodepy\craftr\lib\build_backends\default.py", line 194, in build_main
  executor.run(actions)
File: "C:\Users\niklas\repos\nodepy\craftr\lib\build_backends\default.py", line 171, in run
  self.wait()
File: "C:\Users\niklas\repos\nodepy\craftr\lib\build_backends\default.py", line 137, in wait
  self.pool.shutdown(wait=True)
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\concurrent\futures\thread.py", line 144, in shutdown
  t.join()
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\threading.py", line 1056, in join
  self._wait_for_tstate_lock()
File: "c:\users\niklas\appdata\local\programs\python\python36\lib\threading.py", line 1072, in _wait_for_tstate_lock
  elif lock.acquire(block, timeout):

我从这个追溯中无法理解。似乎Thread._wait_for_tstate_lock()永远不会返回(我多次检查,它总是挂在那一行)。除了主线程(6068)和跟踪线程(4856)之外,没有其他线程在运行。

我不太了解threading.Thread的实施细节。什么可能导致Thread._tstate_lock.acquire()无限期阻止?

更新2017/11/07 - CEWT 01:45

多次调用pool.shutdown()时似乎会发生这种情况......

1 个答案:

答案 0 :(得分:0)

我不能100%肯定这是您在使用Windows时看到此消息的原因,但在类似情况下,我在Linux上使用Python 3.6遇到了这一点。

我在.shutdown()上使用concurrent.futures.ThreadPoolExecutor,程序似乎挂断了。 有时它最终会在30-60秒后退出。

Ctrl-C总是导致回溯,表明它位于_wait_for_tstate_lock()

注意:在Python 3中,第二个Ctrl-C实际上退出了

我的问题发生在提交的函数在循环中使用time.sleep()时。

看着github上当前nodepy代码中的HtmlFileTracer实现,我看到了与我正在做的事情类似的情况(除非设置了某种标志,否则连续循环和睡眠一段时间)