Question

如标题所示，尝试使用kmeans.fit()时遇到内存错误。

我正在使用的数据集具有大小：

print(np.size(np_list)): 1248680000
print(np_list.shape): (31217, 40000)

我的代码，正在运行，它给我一个内存错误：

with open('np_array.pickle', 'rb') as handle:
    np_list = pickle.load(handle)


kmeans = KMeans(n_clusters=5)
kmeans.fit(np_list)

centroids = kmeans.cluster_centers_
labels = kmeans.labels_

print(centroids)
print(labels)

我正在处理一个32k图像的数据集，每个图像都是黑白的，最初是200x200。我按行主要顺序将200x200尺寸变成了40k的单个尺寸。

回溯描述：

Traceback (most recent call last):
  File "C:/Project/ML_Clustering.py", line 54, in <module>
    kmeans.fit(np_list)
  File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 896, in fit
    return_n_iter=True)
  File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\cluster\k_means_.py", line 283, in k_means
    X = as_float_array(X, copy=copy_x)
  File "C:\Users\me\AppData\Local\Continuum\anaconda3\lib\site-packages\sklearn\utils\validation.py", line 88, in as_float_array
    return X.copy('F' if X.flags['F_CONTIGUOUS'] else 'C') if copy else X
MemoryError

Answer 1

基于KMeans的{{1}}聚类方法的经典实现。它在每次迭代时消耗整个输入数据集。您可以尝试使用小型批处理Lloyd's algorithm对中心位置进行增量更新。对于大规模学习（例如n_samples> 10k），sklearn.cluster.MiniBatchKMeans可能比默认的批处理实现要快得多。

MiniBatchKMeans

从here中了解有关from sklearn.cluster import MiniBatchKMeans with open('np_array.pickle', 'rb') as handle: np_list = pickle.load(handle) mbk = MiniBatchKMeans(init ='k-means++', n_clusters = 5, batch_size = 200, max_no_improvement = 10, verbose = 0) mbk.fit(np_list)的更多信息。

使用sklearn.cluster Kmeans时出现内存错误

1 个答案: