Question

我想计算数据数组的特征向量（在我的实际情况下，我是多边形云）

为此，我写了这个函数：

import numpy as np

def eigen(data):
    eigenvectors = []
    eigenvalues  = []

    for d in data:
        # compute covariance for each triangle
        cov = np.cov(d, ddof=0, rowvar=False)

        # compute eigen vectors   
        vals, vecs = np.linalg.eig(cov)
        eigenvalues.append(vals)
        eigenvectors.append(vecs)

    return np.array(eigenvalues), np.array(eigenvectors)

在某些测试数据上运行此操作：

import cProfile
triangles = np.random.random((10**4,3,3,)) # 10k 3D triangles
cProfile.run('eigen(triangles)') # 550005 function calls in 0.933 seconds

工作正常但由于迭代循环而变得非常慢。是否有更快的方法来计算我需要的数据而无需迭代数组？如果没有，任何人都可以建议加快速度的方法吗？

Answer 1

Hack It！

好吧，我入侵covariance func definition并输入规定的输入状态：ddof=0, rowvar=False，事实证明，一切都减少到只有三行 -

nC = m.shape[1]  # m is the 2D input array
X = m - m.mean(0)
out = np.dot(X.T, X)/nC

为了将它扩展到我们的3D数组的情况，我写下了循环版本，这三行是针对3D输入数组的2D数组部分进行迭代的，就像这样 -

for i,d in enumerate(m):

    # Using np.cov :
    org_cov = np.cov(d, ddof=0, rowvar=False)

    # Using earlier 2D array hacked version :
    nC = m[i].shape[0]
    X = m[i] - m[i].mean(0,keepdims=True)
    hacked_cov = np.dot(X.T, X)/nC

<强>升压-它向上

我们需要加速那里的最后三行。可以使用X -

在所有迭代中计算broadcasting

diffs = data - data.mean(1,keepdims=True)

接下来，可以使用transpose和np.dot完成所有迭代的点积计算，但transpose对于这样的多维数组来说可能是代价高昂的事情。 np.einsum中存在更好的替代方案，如此 -

cov3D = np.einsum('ijk,ijl->ikl',diffs,diffs)/data.shape[1]

使用它！

总结一下：

for d in data:
    # compute covariance for each triangle
    cov = np.cov(d, ddof=0, rowvar=False)

可以像这样预先计算：

diffs = data - data.mean(1,keepdims=True)
cov3D = np.einsum('ijk,ijl->ikl',diffs,diffs)/data.shape[1]

这些预先计算的值可以在迭代中用于计算特征向量，如此 -

for i,d in enumerate(data):
    # Directly use pre-computed covariances for each triangle
    vals, vecs = np.linalg.eig(cov3D[i])

测试它！

以下是一些运行时测试，用于评估预计算协方差结果的影响 -

In [148]: def original_app(data):
     ...:     cov = np.empty(data.shape)
     ...:     for i,d in enumerate(data):    
     ...:         # compute covariance for each triangle
     ...:         cov[i] = np.cov(d, ddof=0, rowvar=False)
     ...:     return cov
     ...: 
     ...: def vectorized_app(data):            
     ...:     diffs = data - data.mean(1,keepdims=True)
     ...:     return np.einsum('ijk,ijl->ikl',diffs,diffs)/data.shape[1]
     ...: 

In [149]: data = np.random.randint(0,10,(1000,3,3))

In [150]: np.allclose(original_app(data),vectorized_app(data))
Out[150]: True

In [151]: %timeit original_app(data)
10 loops, best of 3: 64.4 ms per loop

In [152]: %timeit vectorized_app(data)
1000 loops, best of 3: 1.14 ms per loop

In [153]: data = np.random.randint(0,10,(5000,3,3))

In [154]: np.allclose(original_app(data),vectorized_app(data))
Out[154]: True

In [155]: %timeit original_app(data)
1 loops, best of 3: 324 ms per loop

In [156]: %timeit vectorized_app(data)
100 loops, best of 3: 5.67 ms per loop

Answer 2

我不知道你实际可以达到多快的速度。

这是一个稍微修改，可以帮助一点：

%timeit -n 10 values, vectors = \
    eigen(triangles)
10 loops, best of 3: 745 ms per loop

%timeit values, vectors = \
    zip(*(np.linalg.eig(np.cov(d, ddof=0, rowvar=False)) for d in triangles))
10 loops, best of 3: 705 ms per loop

在python中快速计算数组中每个元素的特征向量

2 个答案: