Question

我试图编写一个带有向量（1x128）的python函数，然后在一个大的非排序矩阵（2000x128）中找到最相似的列。此功能在应用程序中调用~100000次。我在台式机上工作时没有问题，但在Raspberry Pi中它的工作速度非常慢。这是我的功能;

def find_similar_index(a):
    d = []
    norma=np.linalg.norm(a)
    for i in range(0, 1999):
        d.append(np.abs(np.linalg.norm(a - A[:, i]))/norma)
    return np.argmin(d)

我可以改进此功能中的任何内容以更快地工作吗？我可以使用Raspberry Pi的GPU进行这种计算吗？

Answer 1

这是使用broadcasting和np.einsum -

的一种方法

subs = (a[:,None] - A)
sq_dist = np.einsum('ij,ij->j',subs, subs)
min_idx = np.abs(sq_dist).argmin()

使用sq_dist公式获取(a-b)^2 = a^2 + b^2 - 2ab的另一种方式 -

sq_dist = (A**2).sum(0) + a.dot(a) - 2*a.dot(A)

使用np.einsum，可以提升为 -

sq_dist = np.einsum('ij,ij->j',A,A) + a.dot(a) - 2*a.dot(A)

此外，由于我们对最接近的索引感兴趣的最终结果以及距离np.linalg.norm的距离对于来自输入数组的实数是正的，我们可以跳过np.abs并跳过将缩小比例缩小norma。

运行时测试

方法 -

def app0(a,A): # Original approach
    d = []
    for i in range(0, A.shape[1]):
        d.append(np.linalg.norm(a - A[:, i]))
    return np.argmin(d)

def app1(a,A):
    subs = (a[:,None] - A)
    sq_dist = np.einsum('ij,ij->j',subs, subs)
    return sq_dist.argmin()

def app2(a,A):
    sq_dist = (A**2).sum(0) + a.dot(a) - 2*a.dot(A) 
    return sq_dist.argmin()

def app3(a,A):
    sq_dist = np.einsum('ij,ij->j',A,A) + a.dot(a) - 2*a.dot(A)
    return sq_dist.argmin()

因为，您提到vector的形状为(1x128)而您正在寻找A中与该向量类似的列，因此看起来每列的长度为{{1}因此我假设128的形状为A。根据这些假设，这里使用列出的方法进行设置和计时 -

(128, 2000)

Python在大矩阵中查找类似向量的最快方法

1 个答案: