Sklearn.KMeans:如何避免内存或值错误?

时间:2017-01-13 10:30:39

标签: python memory scikit-learn k-means

我正在处理图像分类问题,而且我正在创建一个单词模型包。为此,我提取了所有图像的SIFT描述符,我必须使用KMeans算法来查找要用作我的文字袋的中心。

以下是我的数据:

  • 图片总数:1584
  • SIFT描述符的数量(32个元素的向量):571685
  • 中心数:15840

所以我运行了一个KMeans算法来计算我的中心:

dico = pickle.load(open('./dico.bin', 'rb')) # np.shape(dico) = (571685, 32)
k = np.size(os.listdir(img_path)) * 10 # = 1584 * 10

kmeans = KMeans(n_clusters=k, n_init=1, verbose=1).fit(dico)

pickle.dump(kmeans, open('./kmeans.bin', 'wb'))
pickle.dump(kmeans.cluster_centers_, open('./dico_reduit.bin', 'wb'))

使用此代码,我得到了内存错误,因为我的笔记本电脑上没有足够的内存(只有2GB)所以我决定将中心数除以2并随机选择一半的SIFT描述符。这一次,我得到Value Error : array is too big

如果没有内存问题,我该怎么做才能获得相关结果?

1 个答案:

答案 0 :(得分:8)

正如@sascha在这篇评论中所说,我只需要使用MiniBatchKMeans类来避免这个问题:

dico = pickle.load(open('./dico.bin', 'rb'))

batch_size = np.size(os.listdir(img_path)) * 3
kmeans = MiniBatchKMeans(n_clusters=k, batch_size=batch_size, verbose=1).fit(dico)

pickle.dump(kmeans, open('./minibatchkmeans.bin', 'wb'))