Question

我想计算一个大的2D numpy t值数组的p值。但是，这需要很长时间，我想提高它的速度。我尝试过使用GSL。虽然单个gsl_cdf_tdist_P比scipy.stats.t.sf快得多，但是当迭代ndarray时，进程非常慢。我想帮助改善这一点。请参阅下面的代码。

GSL_Test.pyx

import cython
cimport cython

import numpy
cimport numpy
from cython_gsl cimport *

DTYPE = numpy.float32
ctypedef numpy.float32_t DTYPE_t

cdef get_gsl_p(double t, double nu):
    return (1 - gsl_cdf_tdist_P(t, nu)) * 2

@cython.boundscheck(False)
@cython.wraparound(False)
@cython.nonecheck(False)
cdef get_gsl_p_for_2D_matrix(numpy.ndarray[DTYPE_t, ndim=2] t_matrix, int n):

    cdef unsigned int rows = t_matrix.shape[0]
    cdef numpy.ndarray[DTYPE_t, ndim=2] out = numpy.zeros((rows, rows), dtype='float32')
    cdef unsigned int row, col

    for row in range(rows):
        for col in range(rows):
            out[row, col] = get_gsl_p(t_matrix[row, col], n-2)
    return out

def get_gsl_p_for_2D_matrix_def(numpy.ndarray[DTYPE_t, ndim=2] t_matrix, int n):
    return get_gsl_p_for_2D_matrix(t_matrix, n)

IPython的

import GSL_Test
import numpy
import scipy.stats
a = numpy.random.rand(3544, 3544).astype('float32')
%timeit -n 1 GSL_Test.get_gsl_p_for_2D_matrix(a, 25)
1 loop, best of 3: 7.87 s per loop
%timeit -n 1 scipy.stats.t.sf(a, 25)*2
1 loop, best of 3: 4.66 s per loop

UPDATE：添加cdef声明我能够减少计算时间但不低于scipy。我修改了代码以获得cdef声明。

%timeit -n 1 GSL_Test.get_gsl_p_for_2D_matrix_def(a, 25)
1 loop, best of 3: 6.73 s per loop

Answer 1

通过使用原始特殊函数而不是stats.t.sf，您可以获得原始性能的一些小增益。查看来源，您会找到（https://github.com/scipy/scipy/blob/master/scipy/stats/_continuous_distns.py#L3849）

def _sf(self, x, df):
      return sc.stdtr(df, -x)

这样您就可以直接使用stdtr：

np.random.seed(1234)
x = np.random.random((3740, 374))
t1 = stats.t.sf(x, 25)
t2 = stdtr(25, -x)

1 loop, best of 3: 653 ms per loop
1 loop, best of 3: 562 ms per loop

如果你确实接触了cython，那么输入的memoryview语法通常会比旧的ndarray语法提供更快的代码：

from scipy.special.cython_special cimport stdtr
from numpy cimport npy_intp
import numpy as np

def tsf(double [:, ::1] x, int df=25):
    cdef double[:, ::1] out = np.empty_like(x)
    cdef npy_intp i, j
    cdef double tmp, xx

    for i in range(x.shape[0]):
        for j in range(x.shape[1]):
            xx = x[i, j]
            out[i, j] = stdtr(df, -xx)

    return np.asarray(out)

此处我还使用cython_special界面，该界面仅在scipy（http://scipy.github.io/devdocs/special.cython_special.html#module-scipy.special.cython_special）的开发版本中可用，但如果需要，可以使用GSL。

最后，如果您怀疑迭代存在瓶颈，请不要忘记检查cython -a的输出，看看热循环中是否存在一些python开销。

使用Cython比较scipy.stats.t.sf与GSL

1 个答案: