因此,在评估加速Python代码的可能性时,我遇到了这个Stack Overflow帖子:Comparing Python, Numpy, Numba and C++ for matrix multiplication
我对numba的表现印象深刻,并在numba中实现了我们的一些功能。不幸的是,加速仅适用于非常小的矩阵,对于大型矩阵,与之前的scipy稀疏实现相比,代码变得非常慢。我认为这是有道理的,但我在原帖(下面的代码)中重复了测试。
当使用1000 x 1000矩阵时,根据该帖子,即使python实现也应该大约为0.01秒。这是我的结果:
python:769.6387秒
numpy:0.0660秒
numba:3.0779秒
scipy:0.0030秒
如果得到与原帖不同的结果,我做错了什么?我复制了这些功能并没有改变任何东西。我尝试了Python 3.5.1(64位)和Python 2.7.10(32位),一位同事尝试了相同的代码,结果相同。这是100x100矩阵的结果:
python:0.6916秒
numpy:0.0035秒
numba:0.0015秒
scipy:0.0035秒
我犯了一些明显的错误吗?
import numpy as np
import numba as nb
import scipy.sparse
import time
class benchmark(object):
def __init__(self, name):
self.name = name
def __enter__(self):
self.start = time.time()
def __exit__(self, ty, val, tb):
end = time.time()
print("%s : %0.4f seconds" % (self.name, end-self.start))
return False
def dot_py(A, B):
m, n = A.shape
p = B.shape[1]
C = np.zeros((m, p))
for i in range(0, m):
for j in range(0, p):
for k in range(0, n):
C[i, j] += A[i, k] * B[k, j]
return C
def dot_np(A, B):
C = np.dot(A,B)
return C
def dot_scipy(A, B):
C = A * B
return C
dot_nb = nb.jit(nb.float64[:,:](nb.float64[:,:], nb.float64[:,:]), nopython=True)(dot_py)
dim_x = 1000
dim_y = 1000
a = scipy.sparse.rand(dim_x, dim_y, density=0.01)
b = scipy.sparse.rand(dim_x, dim_y, density=0.01)
a_full = a.toarray()
b_full = b.toarray()
print("starting test")
with benchmark("python"):
dot_py(a_full, b_full)
with benchmark("numpy"):
dot_np(a_full, b_full)
with benchmark("numba"):
dot_nb(a_full, b_full)
with benchmark("scipy"):
dot_scipy(a, b)
print("finishing test")
编辑:
答案 0 :(得分:3)
在您收到代码的linked stackoverflow问题中,m = n = 3
和p
是可变的,而您正在使用m = n = 1000
,这将产生巨大的差异在时间安排。