Question

我正在研究一个用cython编写的python扩展模块，它包含了我编写的C ++类。

崩溃

我有一个简单的python代码，可以导入这个python模块并用它处理一些数据。现在，大约1次中有4次，程序在调用模块之后就在终止之前发生了段错误。这也意味着所有数据都被正确处理。像这样的段落错误：

/Users/axe/anaconda/bin/python.app: line 2: 73168 Segmentation fault: 11

使用gdb进行调试，运行gdb python然后run code.py，我得到

Program received signal EXC_BAD_ACCESS, Could not access memory.
Reason: 13 at address: 0x0000000000000000
0x00000001000894ae in PyObject_ClearWeakRefs ()

backtrace的输出是

#0  0x00000001000894ae in PyObject_ClearWeakRefs ()
#1  0x00000001010edae4 in array_dealloc ()
#2  0x000000010007503e in tupledealloc ()
#3  0x00000001000559b7 in insertdict_by_entry ()
#4  0x0000000100059177 in PyDict_SetItem ()
#5  0x000000010005d286 in _PyModule_Clear ()
#6  0x00000001000df8cd in PyImport_Cleanup ()
#7  0x00000001000f0027 in Py_Finalize ()
#8  0x0000000100107e1b in Py_Main ()
#9  0x0000000100000f54 in start ()

所以segfault发生在我的python代码之外。我提到如果我从ipython中运行代码，或者将解释器/ ipython更改为Enthought发行版中的代码，或者我将Cython从1.9.1降级到1.6，问题仍然存在。

C ++中的内存泄漏（？）

由于这可能看起来像C ++代码中的内存泄漏（请告诉我是否有其他可能的解释），我在C ++类的一些C ++测试代码上运行Valgrind，但它没有发现任何问题。（我不是100％肯定它没有问题，因为我在OSX Mountain Lion上，尽管使用了最新的Valgrind主干版本，但它已知有问题。我使用的是OSX10.8抑制文件，那个建议here作为开头）。无论如何，C ++类不使用new / delete / malloc / free，所以它应该没问题。

Cython中的内存泄漏（？）

我尝试在崩溃的python代码上运行valgrind。除了上面提到的OSX抑制文件之外，我还添加了一个python suppress file。 Valgrind产生大量输出然后崩溃。在输出中没有任何对我的源代码的引用。这是有罪的cython代码：

def split_props(np.ndarray[fptype, ndim=1, mode="c"] x,
                   np.ndarray[fptype, ndim=1, mode="c"] y,
                   np.ndarray[fptype, ndim=1, mode="c"] ylines):

cdef np.ndarray[fptype, ndim = 1, mode = "c"] areas = np.zeros((ylines.shape[0] + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] static_moments_x = np.zeros((ylines.shape[0] + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] inertia_moments_xx = np.zeros((ylines.shape[0] + 1), dtype=np.float64, order="c")

cdef SplitPolygon * SPINSTANCE = new SplitPolygon(100, 100)

SPINSTANCE.split_props(& x[0],  # = <fptype *> x.data
                         & y[0],
                         x.shape[0],
                         & ylines[0],
                         ylines.shape[0],
                         & areas[0],
                         & static_moments_x[0],
                         & inertia_moments_xx[0]
                         )
del SPINSTANCE
return areas, static_moments_x, inertia_moments_xx

上面，C ++类是SplitPolygon。在python代码中，我只从cython模块导入上面的函数split_props，因此内存泄漏必须在代码的这部分或C ++代码中。而且，python代码的功能与C ++测试代码相同。

我在下面还报告了该模块的另一部分，它非常相似，但不会导致任何内存泄漏

def SplitCirc(np.ndarray[fptype, ndim=1, mode="c"] ycenters,
               np.ndarray[fptype, ndim=1, mode="c"] radii,
               np.ndarray[fptype, ndim=1, mode="c"] ylines):

cdef np.ndarray[fptype, ndim = 1, mode = "c"] areas = np.zeros((len(ylines) + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] static_moments_x = np.zeros((len(ylines) + 1), dtype=np.float64, order="c")
cdef np.ndarray[fptype, ndim = 1, mode = "c"] inertia_moments_xx = np.zeros((len(ylines) + 1), dtype=np.float64, order="c")

split_circles(& ycenters[0], & radii[0], len(ycenters),
              & ylines[0], len(ylines),
              & areas[0], & static_moments_x[0], & inertia_moments_xx[0])
return areas, static_moments_x, inertia_moments_xx

现在，我真的陷入了困境。 cython代码对你来说好看吗？是否有任何测试用例我可以编写代码来检查C ++类SplitPolygon是否真的无泄漏？崩溃是否可能由于其他原因而发生？

Answer 1

感谢您的评论。正如你所指出的那样，这不是内存泄漏。

问题出在数组x,y,ylines中传递的数据中，这是错误的，因为它不符合类SplitPol()的规范。

这导致SplitPols.split_props()未定义的行为，在这种情况下是在SPINSTANCE.split_props()的调用中写入地址传递的3个数组的边界之外。

这三个数组是由numpy分配给zeros()的3次调用。损坏的内存就在它们附近，从运行到运行它可能属于一个关键的Python对象，导致段错误，或者没有，表明一切都没问题。

除了拧紧内存之外，SplitPols.split_props()代码返回正确的数据没有帮助。

C ++或Cython内存泄漏？

1 个答案: