Question

我有一个包含707列和3947行的数据集。由此，我计算707x707协方差矩阵，数组或行分别表示使用numpy.cov和pandas.df.mean。

当我使用此协方差矩阵和一组方法尝试使用numpy生成随机多变量正常玩具数据集时，我得到了一个MemoryError。

如何使用这些规范生成这么大的随机数据集而不会出现此错误？

编辑：

这是我的堆栈跟踪：

Traceback (most recent call last):

  File "<ipython-input-28-701051dd6b16>", line 1, in <module>
    runfile('/project/home17/whb17/Documents/project2/scripts/mltest/covex.py', wdir='/project/home17/whb17/Documents/project2/scripts/mltest')

  File "/project/soft/linux64/anaconda/Anaconda3-5.0.1-Linux-x86_64/lib/python3.6/site-packages/spyder/utils/site/sitecustomize.py", line 705, in runfile
    execfile(filename, namespace)

  File "/project/soft/linux64/anaconda/Anaconda3-5.0.1-Linux-x86_64/lib/python3.6/site-packages/spyder/utils/site/sitecustomize.py", line 102, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "/project/home17/whb17/Documents/project2/scripts/mltest/covex.py", line 36, in <module>
    d2_x, d2_y = multivariate_normal(means, X_cov, [n_cols, n_rows], check_valid='ignore').T

  File "mtrand.pyx", line 4538, in mtrand.RandomState.multivariate_normal

MemoryError

编辑2：

以下是导致它的代码：

X = pd.read_csv('../../data/mesa/MESA.csv', sep=',', header=None, index_col=0)

n_cols, n_rows = X.shape

means = X.mean(axis=0).tolist()

X_cov = np.cov(X.T)

d2_x, d2_y = multivariate_normal(means, X_cov, [n_cols, n_rows]).T

Answer 1

从您的代码中，您似乎很可能误解了multivariate_normal在

中的使用

d2_x, d2_y = multivariate_normal(means, X_cov, [n_cols, n_rows]).T

这里的第一个和第二个参数是均值和协方差。第三个参数是矩阵的形状，其中每个单元格应该是随机矩阵的一个实例。这不是转换成对的东西，几乎肯定不是你想要的。

举个例子，如果X_cov的尺寸是707 X 707，那么结果的尺寸是707 X 707 X 707 X n_rows。

要生成玩具数据集，您应该使用

multivariate_normal(means, X_cov, n_rows)

与原始问题（第一次编辑之前）相比，总体结果应小于1/1250000。

生成numpy.MultivariateNormal时的MemoryError

1 个答案: