使用索引列表有效地填充NumPy数组

时间:2015-10-13 11:14:33

标签: python numpy parallel-processing vectorization joblib

我知道如何在joblib中执行并行循环,返回列表作为结果。

但是,是否可以并行填充预定义的numpy矩阵?

想象一下以下最小的示例矩阵和数据:

column_data = ['a', 'b', 'c', 'd', 'e', 'f', 'x']
data = [['a', 'b', 'c'],
        ['d', 'c'],
        ['e', 'f', 'd', 'x']]
x = np.zeros((len(data), len(column_data))

请注意,column_data已排序且唯一。 data是列表列表,而不是矩形矩阵。

循环:

for row in range(len(data)):
    for column in data[row]:
        x[row][column_data.index(column)] = 1

可以平行化这个循环吗?填充70,000 x 10,000矩阵非常慢,没有平行化。

1 个答案:

答案 0 :(得分:3)

这是几乎矢量化方法 -

lens = [len(item) for item in data]    
A = np.concatenate((column_data,np.concatenate(data)))
_,idx = np.unique(A,return_inverse=True)

R = np.repeat(np.arange(len(lens)),lens)
C = idx[len(column_data):]

out = np.zeros((len(data), len(column_data)))    
out[R,C] = 1

这是另一个 -

lens = [len(item) for item in data]
R = np.repeat(np.arange(len(lens)),lens)
C = np.searchsorted(column_data,np.concatenate(data))

out = np.zeros((len(data), len(column_data)))
out[R,C] = 1