在numba.jit decoratior中使用parallel选项会使函数给出错误的结果

时间:2017-09-02 00:18:23

标签: python python-3.x numpy jit numba

给定矩形(x1, y1)(x2, y2)以及两个半径r1r2的两个相对角,找到半径定义的圆之间的点的比率r1r2到矩形中的总点数。

简单的NumPy方法:

def func_1(x1,y1,x2,y2,r1,r2,n):
     x11,y11 = np.meshgrid(np.linspace(x1,x2,n),np.linspace(y1,y2,n))
     z1 = np.sqrt(x11**2+y11**2)
     a = np.where((z1>(r1)) & (z1<(r2)))
     fill_factor = len(a[0])/(n*n)
     return fill_factor

接下来,我尝试使用来自numba的jit装饰器来优化此功能。当我使用时:

nopython = True

功能更快,输出正确。但是当我还添加:

parallel = True

功能更快但结果错误。 我知道这与我的z矩阵有关,因为它没有正确更新。

@jit(nopython=True,parallel=True)
def func_2(x1,y1,x2,y2,r1,r2,n):
    x_ = np.linspace(x1,x2,n)
    y_ = np.linspace(y1,y2,n)
    z1 = np.zeros((n,n))
    for i in range(n):
        for j in range(n):
            z1[i][j] = np.sqrt((x_[i]*x_[i]+y_[j]*y_[j]))
    a = np.where((z1>(r1)) & (z1<(r2)))
    fill_factor = len(a[0])/(n*n)
    return fill_factor

测试值:

x1 = 1.0
x2 = -1.0
y1 = 1.0
y2 = -1.0
r1 = 0.5
r2 = 0.75
n = 25000

其他信息:Python版本:3.6.1,Numba版本:0.34.0 + 5.g1762237,NumPy版本:1.13.1

1 个答案:

答案 0 :(得分:1)

parallel=True的问题在于它是一个黑盒子。 Numba甚至不保证它会实际并行化。它使用启发式方法来确定它是否可并行化以及可以并行完成的内容。这些可能会失败,在您的示例中,它们会失败,就像在my experiments with parallel and numba中一样。这使parallel不值得信任,我会建议反对使用它!

在较新版本(0.34)中添加了prange,您可以获得更多运气。在这种情况下无法应用它,因为prange的工作方式与range类似,而且与np.linspace不同...

只需注意:您可以完全避免构建z并在函数中执行np.where,您可以明确地执行检查:

import numpy as np
import numba as nb

@nb.njit   # equivalent to "jit(nopython=True)".
def func_2(x1,y1,x2,y2,r1,r2,n):
    x_ = np.linspace(x1,x2,n)
    y_ = np.linspace(y1,y2,n)
    cnts = 0
    for i in range(n):
        for j in range(n):
            z = np.sqrt(x_[i] * x_[i] + y_[j] * y_[j])
            if r1 < z < r2:
                cnts += 1
    fill_factor = cnts/(n*n)
    return fill_factor

与你的功能相比,这也应该提供一些加速,甚至可能比使用parallel=True更多(如果它能正常工作)。