无法复制比较Python,Numpy和Numba矩阵乘法的结果

时间:2016-06-23 14:27:43

标签: python numpy scipy numba

因此,在评估加速Python代码的可能性时,我遇到了这个Stack Overflow帖子:Comparing Python, Numpy, Numba and C++ for matrix multiplication

我对numba的表现印象深刻,并在numba中实现了我们的一些功能。不幸的是,加速仅适用于非常小的矩阵,对于大型矩阵,与之前的scipy稀疏实现相比,代码变得非常慢。我认为这是有道理的,但我在原帖(下面的代码)中重复了测试。

当使用1000 x 1000矩阵时,根据该帖子,即使python实现也应该大约为0.01秒。这是我的结果:

python:769.6387秒
numpy:0.0660秒
numba:3.0779秒
scipy:0.0030秒

如果得到与原帖不同的结果,我做错了什么?我复制了这些功能并没有改变任何东西。我尝试了Python 3.5.1(64位)和Python 2.7.10(32位),一位同事尝试了相同的代码,结果相同。这是100x100矩阵的结果:

python:0.6916秒
numpy:0.0035秒
numba:0.0015秒
scipy:0.0035秒

我犯了一些明显的错误吗?

import numpy as np
import numba as nb
import scipy.sparse
import time


class benchmark(object):
    def __init__(self, name):
        self.name = name

    def __enter__(self):
        self.start = time.time()

    def __exit__(self, ty, val, tb):
        end = time.time()
        print("%s : %0.4f seconds" % (self.name, end-self.start))
        return False


def dot_py(A, B):
    m, n = A.shape
    p = B.shape[1]

    C = np.zeros((m, p))

    for i in range(0, m):
        for j in range(0, p):
            for k in range(0, n):
                C[i, j] += A[i, k] * B[k, j]
    return C


def dot_np(A, B):
    C = np.dot(A,B)
    return C


def dot_scipy(A, B):
    C = A * B
    return C

dot_nb = nb.jit(nb.float64[:,:](nb.float64[:,:], nb.float64[:,:]), nopython=True)(dot_py)

dim_x = 1000
dim_y = 1000
a = scipy.sparse.rand(dim_x, dim_y, density=0.01)
b = scipy.sparse.rand(dim_x, dim_y, density=0.01)
a_full = a.toarray()
b_full = b.toarray()

print("starting test")

with benchmark("python"):
    dot_py(a_full, b_full)

with benchmark("numpy"):
    dot_np(a_full, b_full)

with benchmark("numba"):
    dot_nb(a_full, b_full)

with benchmark("scipy"):
    dot_scipy(a, b)

print("finishing test")

编辑:

以后有人看到这个。这是我使用稀疏nxn矩阵时得到的结果(1%的元素是非零的)。 runtime of nxn matrix multiplication

1 个答案:

答案 0 :(得分:3)

在您收到代码的linked stackoverflow问题中,m = n = 3p是可变的,而您正在使用m = n = 1000,这将产生巨大的差异在时间安排。