我有一个24000 * 316 numpy矩阵,每行代表一个316个时间点的时间序列,我计算每对时间序列之间的pearson相关性。结果意味着我将拥有一个具有皮尔逊值的24000 * 24000 numpy矩阵。 我的问题是这需要很长时间。我已经在较小的矩阵(200 * 200)上测试了我的管道并且它可以工作(尽管仍然很慢)。我想知道是否预计会这么慢(需要超过一天!!!)。我可能能做些什么...... 如果它有助于这是我的代码......没什么特别或难的..
def SimMat(mat,name):
mrange = mat.shape[0]
print "mrange:", mrange
nTRs = mat.shape[1]
print "nTRs:", nTRs
SimM = numpy.zeros((mrange,mrange))
for i in range(mrange):
SimM[i][i] = 1
for i in range (mrange):
for j in range(i+1, mrange):
pearV = scipy.stats.pearsonr(mat[i], mat[j])
if(pearV[1] <= 0.05):
if(pearV[0] >= 0.5):
print "Pearson value:", pearV[0]
SimM[i][j] = pearV[0]
SimM[j][i] = 0
else:
SimM[i][j] = SimM[j][i] = 0
numpy.savetxt(name, SimM)
return SimM, nTRs
由于
答案 0 :(得分:3)
实现的主要问题是存储相关系数所需的内存量(至少 4.5GB)。没有理由将已计算的系数保留在内存中。对于这样的问题,我喜欢使用hdf5存储中间结果,因为它们与numpy很好地协同工作。这是一个完整的,最小的工作示例:
import numpy as np
import h5py
from scipy.stats import pearsonr
# Create the dataset
h5 = h5py.File("data.h5",'w')
h5["test"] = np.random.random(size=(24000,316))
h5.close()
# Compute dot products
h5 = h5py.File("data.h5",'r+')
A = h5["test"][:]
N = A.shape[0]
out = h5.require_dataset("pearson", shape=(N,N), dtype=float)
for i in range(N):
out[i] = [pearsonr(A[i],A[j])[0] for j in range(N)]
测试前100行表示单核上只需8小时。如果你对它进行并行化,它应该具有线性加速和核心数。