Question

我有以下MCVE：

import numpy as np

cimport numpy as np
cimport cython

from cython cimport floating


def func1(floating[:] X_data, floating alpha):
    if floating is double:
        dtype = np.float64
    else:
        dtype = np.float32

    cdef floating[:] prios = np.empty(12, dtype=dtype)
    cdef int ws_size = 10

    C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)

    cdef int res = func2(X_data, alpha, C)


cpdef int func2(floating[:] X_data, floating alpha, int[:] C):
    cdef int epoch = 1
    return epoch

尝试运行cython test_fused.pyx会给我：

Error compiling Cython file:
------------------------------------------------------------
...
    cdef floating[:] prios = np.empty(12, dtype=dtype)
    cdef int ws_size = 10

    C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)

    cdef int res = func2(X_data, alpha, C)
                       ^
------------------------------------------------------------

test_fused.pyx:21:24: no suitable method found

    Error compiling Cython file:
    ------------------------------------------------------------
    ...
        cdef floating[:] prios = np.empty(12, dtype=dtype)
        cdef int ws_size = 10

        C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)

        cdef int res = func2(X_data, alpha, C)
                           ^
    ------------------------------------------------------------

    test_fused.pyx:21:24: no suitable method found

    Error compiling Cython file:
    ------------------------------------------------------------
    ...
        cdef floating[:] prios = np.empty(12, dtype=dtype)
        cdef int ws_size = 10

        C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)

        cdef int res = func2(X_data, alpha, C)
                      ^
    ------------------------------------------------------------

    test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized

    Error compiling Cython file:
    ------------------------------------------------------------
    ...
        cdef floating[:] prios = np.empty(12, dtype=dtype)
        cdef int ws_size = 10

        C = np.argpartition(np.asarray(prios), ws_size)[:ws_size].astype(np.int32)

        cdef int res = func2(X_data, alpha, C)
                      ^
    ------------------------------------------------------------

    test_fused.pyx:21:19: Invalid use of fused types, type cannot be specialized

我有一个更复杂的代码，该代码还传递了数组C作为运行时定义的值，这没有引起任何问题。导致此编译错误的原因是什么？

我很困惑，因为稍作修改（在func1上添加了一个伪关键字arg，并在func2上添加了两个关键字arg）使代码可以编译：

def func1(floating[:] X_data, floating alpha,
          int dummy_variable=1):  # added dummy_variable here

    # same as before here

    cdef int res = func2(X_data, alpha, C,
                       dummy_variable=dummy_variable)


cpdef int func2(floating[:] X_data, floating alpha, int[:] C, 
    int K=6, int dummy_variable=1):  # added K and dummy variable here

    cdef int epoch = 1
    return epoch

Answer 1

让我们从一个较小的复制器开始：

%%cython
import numpy as np
from cython cimport floating

def func1(floating[:] X_data):
    C = np.empty(12, dtype=np.int_32)
    func2(X_data, C)

cpdef func2(floating[:] X_data, int[:] C):
    pass

它不能编译。

一个重要的发现：func2是cpdef，这意味着Cython将从func1开始将其称为原始C函数。 Cython将为融合的func2函数生成这两个C签名（一个用于double，一个用于float）：

static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/
static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, __Pyx_memviewslice, int __pyx_skip_dispatch); /*proto*/

因此，C应该是__Pyx_memviewslice，但是只要Cython关心，它就是PyObject中的func1，因此该函数无法实现被称为cdef。我不明白的是：Cython为什么不退回python-def版本？

C签名有点误导，并且Cython在编译期间进行了更多类型检查，因此将C定义为

cdef float[:] C

因为即使在这种情况下C也是__Pyx_memviewslice，它也没有正确的类型，而且只有

cdef int[:] C

会工作的。

如果func2被定义为

cpdef func2(floating[:] X_data, C):

对应的两个C签名为

static PyObject *__pyx_fuse_0__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/
static PyObject *__pyx_fuse_1__pyx_f_4test_func2(__Pyx_memviewslice, PyObject *, int __pyx_skip_dispatch); /*proto*/

因此可以将C传递给PyObject到这些函数。

因此，有两种方法可以解决编译问题：

在cdef int[:] C中使用func1，或
将int[:] C放在func2的签名中

那为什么要添加一个虚拟参数，即

%%cython -a
import numpy as np
from cython cimport floating

def func1(floating[:] X_data, int dummy_variable=1):
    C = np.empty(12, dtype=np.int_32)
    func2(X_data, C, dummy_variable=dummy_variable)

cpdef func2(floating[:] X_data, int[:] C, int k=6, dummy_variable = 1):
    pass

有效吗？

实际上，还有第三种方法来编译代码：通过使func2为仅python的def函数。在这种情况下，C的类型在编译期间不起作用，并且将在运行时进行检查。

问题是：对于您的伪变量，Cython决定将func2作为Python函数而不是C函数来调用，因此类型不匹配不起作用。

通过检查带注释的html文件，您可以轻松地看到这一点。

但是，我不能说，Cython退回Python函数调用的原因是您的解决方法。我只能说：不要为k提供价值。

Cython：无效使用融合类型，类型不能专门化

1 个答案: