Question

我正在使用py.test运行一组测试。他们过去了。开心辞典！但是我收到了这条消息：

Exception KeyError: KeyError(4427427920,) in <module 'threading' from '/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.pyc'> ignored

我应该如何追查其来源？（我不是直接使用线程，而是使用gevent。）

Answer 1

我发现了一个类似的问题，并决定看看究竟发生了什么 - 让我描述一下我的发现。我希望有人会发现它很有用。

短篇小说

确实与猴子修补threading模块有关。实际上，我可以通过在猴子修补线程之前导入线程模块来轻松触发异常。以下两行就足够了：

import threading
import gevent.monkey; gevent.monkey.patch_thread()

执行时会发出有关忽略KeyError：

的消息

(env)czajnik@autosan:~$ python test.py 
Exception KeyError: KeyError(139924387112272,) in <module 'threading' from '/usr/lib/python2.7/threading.pyc'> ignored

如果交换导入行，则问题就消失了。

长篇故事

我可以在这里停止调试，但我认为理解这个问题的确切原因是值得的。

第一步是找到打印有关忽略异常的消息的代码。我找到它有点困难（gre Exception.*ignored没有产生任何东西），但是围绕CPython源代码，我最终在Python/error.c找到了一个名为void PyErr_WriteUnraisable(PyObject *obj)的函数，非常有趣的评论：

/* Call when an exception has occurred but there is no way for Python
   to handle it.  Examples: exception in __del__ or during GC. */

我决定在gdb的帮助下检查谁在调用它，只是为了获得以下C级堆栈跟踪：

#0  0x0000000000542c40 in PyErr_WriteUnraisable ()
#1  0x00000000004af2d3 in Py_Finalize ()
#2  0x00000000004aa72e in Py_Main ()
#3  0x00007ffff68e576d in __libc_start_main (main=0x41b980 <main>, argc=2,
    ubp_av=0x7fffffffe5f8, init=<optimized out>, fini=<optimized out>, 
    rtld_fini=<optimized out>, stack_end=0x7fffffffe5e8) at libc-start.c:226
#4  0x000000000041b9b1 in _start ()

现在我们可以清楚地看到在Py_Finalize执行时抛出了异常 - 这个调用负责关闭Python解释器，释放已分配的内存等。它在退出之前被调用。

下一步是查看Py_Finalize()代码（它在Python/pythonrun.c中）。它的第一个调用是wait_for_thread_shutdown() - 值得一看，因为我们知道问题与线程有关。该函数依次调用_shutdown模块中的threading可调用。好的，我们现在可以回到python代码了。

看threading.py我发现了以下有趣的部分：

class _MainThread(Thread):

    def _exitfunc(self):
        self._Thread__stop()
        t = _pickSomeNonDaemonThread()
        if t:
            if __debug__:
                self._note("%s: waiting for other threads", self)
        while t:
            t.join()
            t = _pickSomeNonDaemonThread()
        if __debug__:
            self._note("%s: exiting", self)
        self._Thread__delete()

# Create the main thread object,
# and make it available for the interpreter
# (Py_Main) as threading._shutdown.

_shutdown = _MainThread()._exitfunc

显然，threading._shutdown()调用的责任是加入所有非守护程序线程并删除主线程（无论这意味着什么）。我决定稍微修补threading.py - 用_exitfunc() / try包裹整个except正文并使用traceback模块打印堆栈跟踪。这给出了以下痕迹：

Traceback (most recent call last):
  File "/usr/lib/python2.7/threading.py", line 785, in _exitfunc
    self._Thread__delete()
  File "/usr/lib/python2.7/threading.py", line 639, in __delete
    del _active[_get_ident()]
KeyError: 26805584

现在我们知道引发异常的确切位置 - 在Thread.__delete()方法内。

在阅读threading.py一段时间之后，其余部分是显而易见的。对于创建的所有线程，_active字典将线程ID（由_get_ident()返回）映射到Thread个实例。加载threading模块时，始终会创建_MainThread类的实例并将其添加到_active（即使未显式创建其他线程）。

问题是，gevent修补猴子的方法之一是_get_ident() - 原始方法映射到thread.get_ident()，猴子修补取代green_thread.get_ident() }。显然，两个调用都会为主线程返回不同的ID。

现在，如果在猴子修补之前加载threading模块，_get_ident()调用会在创建_MainThread实例并添加到_active时返回一个值，而另一个值在调用时间_exitfunc() - 因此KeyError中的del _active[_get_ident()]。

相反，如果在加载threading之前完成了猴子修补，那么一切都很好 - 当_MainThread实例添加到_active，_get_ident()时已修补，并在清理时返回相同的线程ID。就是这样！

为了确保我按正确的顺序导入模块，我将以下代码段添加到我的代码中，就在猴子修补调用之前：

import sys
if 'threading' in sys.modules:
        raise Exception('threading module loaded before patching!')
import gevent.monkey; gevent.monkey.patch_thread()

我希望你发现我的调试故事很有用：）

Answer 2

你可以用这个：

import sys
if 'threading' in sys.modules:
    del sys.modules['threading']
import gevent
import gevent.socket
import gevent.monkey
gevent.monkey.patch_all()

Answer 3

我遇到了gevent原型脚本的类似问题。

Greenlet回调正常运行，我正在通过g.join（）同步回主线程。对于我的问题，我不得不调用gevent.shutdown（）关闭（我假设是）Hub。手动关闭事件循环后，程序正常终止，没有出现该错误。

成功运行py.test后模块'threading'中的KeyError

3 个答案:

短篇小说

长篇故事