Question

从db（大约为(1e6, 300)）和mask = [1, 0, 1]向量等数组中，我将目标定义为第一列中的1。

我想创建一个out向量，其中包含db中相应行与mask和target==1匹配的向量，以及其他地方的零。

db = np.array([       # out for mask = [1, 0, 1]
# target,  vector     #
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 1],  # 0 (fit to mask but target == 0)
  [0,      0, 1, 0],  # 0
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 0],  # 0
  [1,      0, 0, 0],  # 0
  ])

我已经定义了一个vline函数，它使用mask将np.array_equal(mask, mask & vector)应用于每个数组行，以检查向量101和111是否适合掩码，然后仅保留target == 1的索引。 1}}。

out已初始化为array([0, 0, 0, 0, 0, 0])

out = [0, 0, 0, 0, 0, 0]

vline函数定义为：

def vline(idx, mask):
    line = db[idx]
    target, vector = line[0], line[1:]
    if np.array_equal(mask, mask & vector):
        if target == 1:
            out[idx] = 1

通过在for循环中逐行应用此函数，我得到了正确的结果：

def check_mask(db, out, mask=[1, 0, 1]):
    # idx_db to iterate over db lines without enumerate
    for idx in np.arange(db.shape[0]):
        vline(idx, mask=mask)
    return out

assert check_mask(db, out, [1, 0, 1]) == [1, 0, 0, 1, 0, 0] # it works !

现在我想通过创建vline：

来向ufunc进行矢量化

ufunc_vline = np.frompyfunc(vline, 2, 1)
out = [0, 0, 0, 0, 0, 0]
ufunc_vline(db, [1, 0, 1])
print out

但是ufunc抱怨广播这些形状的输入：

In [217]:     ufunc_vline(db, [1, 0, 1])
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-217-9008ebeb6aa1> in <module>()
----> 1 ufunc_vline(db, [1, 0, 1])
ValueError: operands could not be broadcast together with shapes (6,4) (3,)
In [218]:

Answer 1

从根本上将vline转换为numpy ufunc没有意义，因为ufuncs总是以元素方式应用于numpy数组。因此，输入参数必须具有相同的形状，或者必须broadcastable为相同的形状。您将两个形状不兼容的数组传递给ufunc_vline函数（db.shape == (6, 4)和mask.shape == (3,)），因此您看到的是ValueError。

ufunc_vline还存在其他一些问题：

np.frompyfunc(vline, 2, 1)指定vline应返回单个输出参数，而vline实际上不返回任何内容（但会修改out）。
您将db作为第一个参数传递给ufunc_vline，而vline期望第一个参数为idx，它被用作索引db。

另外，请记住，使用np.frompyfunc从Python函数创建ufunc不会比标准Python for循环产生任何明显的性能优势。要查看任何严重的改进，您可能需要使用C等低级语言对ufunc进行编码（请参阅文档中的this example）。

话虽如此，您可以使用标准布尔数组操作轻松地对vline函数进行矢量化：

def vline_vectorized(db, mask): 
    return db[:, 0] & np.all((mask & db[:, 1:]) == mask, axis=1)

例如：

db = np.array([       # out for mask = [1, 0, 1]
# target,  vector     #
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 1],  # 0 (fit to mask but target == 0)
  [0,      0, 1, 0],  # 0
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 0],  # 0
  [1,      0, 0, 0],  # 0
  ])

mask = np.array([1, 0, 1])

print(repr(vline_vectorized(db, mask)))
# array([1, 0, 0, 1, 0, 0])

使用numpy.frompyfunc通过参数向python函数添加广播

1 个答案: