Question

我想计算一个数组A中的所有元素与另一个数组B中的所有元素之间的差异的直方图。

所以我想要一个以下数据的直方图：

Delta1 = A1-B1
Delta2 = A1-B2
Delta3 = A1-B3
...
DeltaN = A2-B1
DeltaN+1 = A2-B2
DeltaN+2 = A2-B3 
...

此计算的目的是表明这些数据具有相关性，即使并非每个数据点在另一个数组中都具有“伙伴”并且在实践中该相关性也比较嘈杂。

问题在于，这些文件实际上非常大，只有几个GB，并且向量的所有条目都是64位整数，相差很大。对我来说，将这些数据转换为二进制数组似乎不可行，以便能够使用相关函数和傅立叶变换进行计算。

这是一个小例子，可以使我更好地欣赏正在查看的内容。用numpy的searchsort排序在for循环中的这种实现相当慢。

import numpy as np
import matplotlib.pyplot as plt

timetagsA = [668656283,974986989,1294941174,1364697327,\
1478796061,1525549542,1715828978,2080480431,2175456303,2921498771,3671218524,\
4186901001,4444689281,5087334517,5467644990,5836391057,6249837363,6368090967,8344821453,\
8933832044,9731229532]


timetagsB = [13455,1294941188,1715828990,2921498781,5087334530,5087334733,6368090978,9731229545,9731229800,9731249954]

max_delta_t = 500
nbins = 10000 
histo=np.zeros((nbins,2), dtype = float) 
histo[:,0]=np.arange(0,nbins)   

for i in range(0,int(len(timetagsA))):
    delta_t = 0
    j = np.searchsorted(timetagsB,timetagsA[i]) 
    while (np.round(delta_t) < max_delta_t and j<len(timetagsB)):
        delta_t = timetagsB[j] - timetagsA[i] 

        if(delta_t<max_delta_t):
            histo[int(delta_t),1]+=1 

        j = j+1

plt.plot(histo[0:50,1])
plt.show()

如果有人可以帮助我找到一种更快的计算方法，那就太好了。提前致谢！

Answer 1

编辑

下面的解决方案假设您的数据非常庞大，以至于您无法将np.substract与np.outer一起使用，然后对要保留的值进行切片：

arr_diff = np.subtract.outer(arrB, arrA)
print (arr_diff[(0<arr_diff ) &(arr_diff <max_delta_t)])
# array([ 14,  12,  10,  13, 216,  11,  13, 268], dtype=int64)

使用您的示例数据可以工作，但不能使用太大的数据集

原始解决方案

让我们首先假设您的max_delta_t小于timetagsB中两个连续值之间的差，这是一种简单的实现方式（然后我们可以尝试将其概括）。

#create the array instead of list
arrA = np.array(timetagsA)
arrB = np.array(timetagsB)
max_delta_t = np.diff(arrB).min() - 1 #here it's 202 just for the explanation

您可以通过矢量化方式使用np.searchsorted：

# create the array of search 
arr_search = np.searchsorted(arrB, arrA) # the position of each element of arrA in arrB
print (arr_search)
# array([1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 4, 4, 4, 4, 6, 6, 6, 6, 7, 7, 7],dtype=int64)

您可以通过将arrB切片为arrA来计算与arrB的每个元素相对应的arr_search的元素之差

# calculate the difference
arr_diff = arrB[arr_search] - arrA
print (arr_diff[arr_diff<max_delta_t]) # finc the one smaller than max_delta_t
# array([14, 12, 10, 13, 11, 13], dtype=int64)

因此，您要查找的内容由np.bincount

计算得出

arr_bins = np.bincount(arr_diff[arr_diff<max_delta_t])
#to make it look like histo but not especially necessary
histo = np.array([range(len(arr_bins)),arr_bins]).T

现在的问题是，当arrA大于{中的两个连续值时，这种方法无法获得arrB和max_delta_t之间的一些差值。 {1}}。这是一种方法，根据您的数据值，不是最有效的方法。对于任何arrB

max_delta_t

现在您可以#need an array with the number of elements in arrB for each element of arrA # within a max_delta_t range arr_diff_search = np.searchsorted(arrB, arrA + max_delta_t)- np.searchsorted(arrB, arrA) #do a loop to calculate all the values you are interested in list_arr = [] for i in range(arr_diff_search.max()+1): arr_diff = arrB[(arr_search+i)%len(arrB)][(arr_diff_search>=i)] - arrA[(arr_diff_search>=i)] list_arr.append(arr_diff[(0<arr_diff)&(arr_diff<max_delta_t)])使用list_arr并使用np.concatenate，例如：

np.bincount

稀疏数据的有效差异直方图

1 个答案: