Question

我编写了一个python c扩展，它使用了英特尔数学内核库（mkl）中的例程。这是我第一次写一个c扩展名。我今天刚学会了。

编译了c扩展名。但是当我在python中导入它时，它表示未定义的符号，并且找不到mkl中定义的函数。

如何在python c扩展中包含任何外部c库？

感谢您的帮助。

mkl_helper.c：

#include "Python.h"
#include "numpy/arrayobject.h"
#include "mkl.h"

static PyObject* test4 (PyObject *self, PyObject *args)
{
    // test4 (m, n,
    //        a, ja, ia,
    //        c, jc, ic)

    PyArrayObject *shape_array;
    PyArrayObject *a_array;   // csr_matrix.data
    PyArrayObject *ja_array;  // csr_matrix.indices
    PyArrayObject *ia_array;  // csr_matrix.indptr
    PyArrayObject *c_array;
    PyArrayObject *jc_array;
    PyArrayObject *ic_array;

    if (!PyArg_ParseTuple(args, "O!O!O!O!O!O!O!", 
                            &PyArray_Type, &shape_array,
                            &PyArray_Type, &a_array,
                            &PyArray_Type, &ja_array,
                            &PyArray_Type, &ia_array,
                            &PyArray_Type, &c_array,
                            &PyArray_Type, &jc_array,
                            &PyArray_Type, &ic_array))
    {
        return NULL;
    }

    long  * ptr_int     = shape_array->data;
    int m               = ptr_int[0];
    int n               = ptr_int[1];
    int k               = n;

    float *  a_data_ptr =  a_array->data;
    float * ja_data_ptr = ja_array->data;
    float * ia_data_ptr = ia_array->data;
    float *  c_data_ptr =  c_array->data;
    float * jc_data_ptr = jc_array->data;
    float * ic_data_ptr = ic_array->data;

    char trans  = 'T';
    int sort    = 0;
    int nzmax   = n*n;
    int info    = -3;
    int request = 0;

    mkl_scsrmultcsr(&trans, &request, &sort,
       &m, &n, &k,
       a_data_ptr, ja_data_ptr, ia_data_ptr,
       a_data_ptr, ja_data_ptr, ia_data_ptr,
       c_data_ptr, jc_data_ptr, ic_data_ptr,
       &nzmax, &info);

    return PyInt_FromLong(info);

}

static struct PyMethodDef methods[] = {
    {"test4", test4, METH_VARARGS, "test2(arr1)\n take a numpy array and return its shape as a tuple"},
    {NULL, NULL, 0, NULL}
};

PyMODINIT_FUNC
initmkl_helper (void)
{
    (void)Py_InitModule("mkl_helper", methods);
    import_array();
}

setup.py：

from distutils.core import setup, Extension
import numpy as np

ext_modules = [ Extension('mkl_helper', sources = ['mkl_helper.c']) ]

setup(
        name = 'mkl_helper',
        version = '1.0',
        include_dirs = [np.get_include()], #Add Include path of numpy
        ext_modules = ext_modules
)

test.py：

import mkl_helper

运行test.py：

的结果

Traceback (most recent call last):
  File "<string>", line 1, in <module>
ImportError: /home/rxu/local/lib/python2.7/site-packages/mkl_helper.so: undefined symbol: mkl_scsrmultcsr

2016年6月16日更新：

这似乎很有用：

1.12。在https://docs.python.org/2/extending/extending.html中为扩展模块提供C API，如果在另一个c扩展中包含一个c扩展，则在链接为共享库时可能会出现问题。所以，我想我必须将mkl链接为静态库？或者将inlcude mkl.h添加到python.h？

但是，在python（没有c）中，我可以使用ctypes.cdll.LoadLibrary（“./ mkl_rt.so”）来加载mkl的共享库，然后使用共享库中的c函数而不会出现问题（如here）。然而Python / C api在c中不能做同样的事情吗？

为了静态链接外部c库，setup.py可能需要：在https://docs.python.org/2/distutils/apiref.html?highlight=include#distutils.ccompiler.CCompiler.add_include_dir

的类distutils.core.Extensions中的额外对象

关于没有答案的cython的相关问题：Combining Cython with MKL

这个似乎更有帮助：Python, ImportError: undefined symbol: g_utf8_skip

这个使用了不推荐使用的dlopen：Undefined Symbol in C++ When Loading a Python Shared Library

Answer 1

oopcode在Python, ImportError: undefined symbol: g_utf8_skip中的回答。情况随着以下情况而有所改善。

将c扩展名导入python没有错误。从python调用c扩展名会出现以下错误：英特尔MKL致命错误：无法加载libmkl_mc.so或libmkl_def.so。

我记得当我用mkl手动编译numpy时，site.cfg文件要求提供库路径并包含intel的mkl路径。猜猜我还需要将库路径添加到extra_link_args ......但这并没有用。

有anaconda的人也有here中的错误。英特尔论坛here的类似案例。

此stackoverflow问题还需要extra_compile_args：How to pass flag to gcc in Python setup.py script

setup.py

from distutils.core import setup, Extension
import numpy as np

extra_link_args=["-I", "(intel's dir)/intel/compilers_and_libraries_2016.3.210/linux/mkl/include", "-L", "(intel's dir)/intel/mkl/lib/intel64/libmkl_mc.so", "-mkl"] 
ext_modules = [ Extension('mkl_helper', sources = ['mkl_helper.c'], extra_link_args=extra_link_args) ]


setup(
        name = 'mkl_helper',
        version = '1.0',
        include_dirs = [np.get_include()], #Add Include path of numpy
        ext_modules = ext_modules
)

更新：我终于像here那样工作了但是mkl仍然只使用12个cpu中的一个。

在python的c扩展中包含外部共享intel的mkl库

1 个答案: