基于位置数据和带有内存限制的错误进行聚类

时间:2019-04-17 08:47:10

标签: r memory out-of-memory k-means

问题:

我正在将x,y数据形式的位置数据聚类,当我尝试计算{{1}时,该数据已按比例缩放为平均值0和标准偏差1.使用solhouette方法确定我的簇数时,我遇到了一个内存限制错误,指出向量的大小太大,精确到313 gb。因此,我检查了列的长度,有289,879个数据点,我不会怀疑会造成内存限制问题。我的下一步是使用kmeans函数来增加R中的内存限制。就我而言,我使用了memory.limit(X)x=10000000000000。但是,那仍然行不通。

我想做什么:

聚集所有数据,而不是将其拆分为火车或测试集之类的不同数据集。

问题

  1. 如何将内存限制增加到1e+13以上?当我向1e+13函数中添加另一个0时,出现一个我无法降低备忘录限制的错误。

  2. 我如何检查我的R是64位还是32位?这已经通过memory.limit函数来回答。我的会话是64位的。

  3. 如何创建具有1个数据集而不是火车和测试集的集群?

可复制代码

sessioninfo()

0 个答案:

没有答案