为什么numpy.apply_along_axis似乎比Python循环慢?

时间:2011-12-28 06:48:48

标签: python numpy

我很困惑numpy的numpy.apply_along_axis()函数何时会胜过简单的Python循环。例如,考虑具有许多行的矩阵的情况,并且您希望计算每行的总和:

x = np.ones([100000, 3])
sums1 = np.array([np.sum(x[i,:]) for i in range(x.shape[0])])
sums2 = np.apply_along_axis(np.sum, 1, x)

这里我甚至使用内置的numpy函数np.sum,但计算sums1(Python循环)在计算sums2时需要不到400毫秒(apply_along_axis )需要超过2000毫秒(Windows上的NumPy 1.6.1)。通过进一步的比较,R的rowMeans函数通常可以在不到20ms的时间内完成(我很确定它正在调用C代码),而类似的R函数apply()可以在大约600ms内完成。

1 个答案:

答案 0 :(得分:10)

np.sum获取axis参数,因此您只需使用

计算总和
sums3 = np.sum(x, axis=1)

这比你提出的两种方法要快得多。

$ python -m timeit -n 1 -r 1 -s "import numpy as np;x=np.ones([100000,3])" "np.apply_along_axis(np.sum, 1, x)"
1 loops, best of 1: 3.21 sec per loop

$ python -m timeit -n 1 -r 1 -s "import numpy as np;x=np.ones([100000,3])" "np.array([np.sum(x[i,:]) for i in range(x.shape[0])])"
1 loops, best of 1: 712 msec per loop

$ python -m timeit -n 1 -r 1 -s "import numpy as np;x=np.ones([100000,3])" "np.sum(x, axis=1)"
1 loops, best of 1: 1.81 msec per loop

(至于为什么apply_along_axis更慢 - 我不知道,可能是因为该函数是用纯Python编写的,并且更通用,因此比数组版本更少的优化机会。)