将memmap完全刷新到磁盘

时间:2015-08-27 17:26:44

标签: python arrays numpy scikit-learn

有没有办法在Python中从内存中完全刷新memmap,并以某种方式存储指针?我注意到memmap_object.flush()del memmap_object有不同的影响。

完整代码:

temp_train_data=X_train[1000:]
temp_labels=y[1000:] 
out = np.empty((200001, 3504), np.int64)
for index,row in enumerate(temp_train_data):
    actual_index=index+1000
    data=X_train[actual_index-1000:actual_index+1].ravel()
    __,cd_i=pywt.dwt(data,'haar')
    out[index] = cd_i
out.flush()
pca_obj=IncrementalPCA()
clf = pca_obj.fit(out)

编辑1 :( @ stark建议) 与该问题有关的主要问题:

  1. clf = pca_obj.fit(out)破坏了我的RAM。
  2. 我希望释放更多RAM,以便增加迭代PCA的批量大小。

0 个答案:

没有答案