应用错误收集

我在普通8GB服务器上耗尽内存，在机器学习环境中使用相当小的数据集：

> dim(basetrainf) # this is a dataframe
[1] 58168   118

我采用的唯一一个显着增加内存消耗的预建模步骤是将数据帧转换为模型矩阵。这是因为caret，cor等仅适用于（模型）矩阵。即使在删除具有多个级别的因子之后，矩阵（下面的mergem）也相当大。（sparse.model.matrix / Matrix一般来说支持得很差，所以我不能使用它。）

> lsos()
                 Type      Size PrettySize   Rows Columns
mergem         matrix 879205616   838.5 Mb 115562     943
trainf     data.frame  80613120    76.9 Mb 106944     119
inttrainf      matrix  76642176    73.1 Mb    907   10387
mergef     data.frame  58264784    55.6 Mb 115562      75
dfbase     data.frame  48031936    45.8 Mb  54555     115
basetrainf data.frame  40369328    38.5 Mb  58168     118
df2        data.frame  34276128    32.7 Mb  54555     103
tf         data.frame  33182272    31.6 Mb  54555      98
m.gbm           train  20417696    19.5 Mb     16      NA
res.glmnet       list  14263256    13.6 Mb      4      NA

此外，由于许多R模型不支持示例权重，我不得不首先对少数类进行过采样，使数据集的大小加倍（为什么trainf，mergef，mergem的行数是basetrainf的两倍）。

此时R使用1.7GB内存，使我的总内存使用量从7.7GB增加到4.3GB。

我接下来要做的是：

> m = train(mergem[mergef$istrain,], mergef[mergef$istrain,response], method='rf')

Bam - 在几秒钟内，Linux内存杀手杀死了rsession。

我可以对我的数据进行采样，采样不足而不是过采样等，但这些都是非理想的。我应该做什么（不同的），没有重写插入符号以及我打算使用的各种模型包？

FWIW，我从来没有遇到过其他ML软件（Weka，Orange等）的这个问题，即使没有修剪我的任何因素，也许是因为所有因素加权和“数据框架”支持，模型。

完整的脚本如下：

library(caret)
library(Matrix)
library(doMC)
registerDoMC(2)

response = 'class'

repr = 'dummy'
do.impute = F

xmode = function(xs) names(which.max(table(xs)))

read.orng = function(path) {
  # read header
  hdr = strsplit(readLines(path, n=1), '\t')
  pairs = sapply(hdr, function(field) strsplit(field, '#'))
  names = sapply(pairs, function(pair) pair[2])
  classes = sapply(pairs, function(pair)
    if (grepl('C', pair[1])) 'numeric' else 'factor')

  # read data
  dfbase = read.table(path, header=T, sep='\t', quote='', col.names=names, na.strings='?', colClasses=classes, comment.char='')

  # switch response, remove meta columns
  df = dfbase[sapply(pairs, function(pair) !grepl('m', pair[1]) && pair[2] != 'class' || pair[2] == response)]

  df
}

train.and.test = function(x, y, trains, method) {
  m = train(x[trains,], y[trains,], method=method)
  ps = extractPrediction(list(m), testX=x[!trains,], testY=y[!trains,])
  perf = postResample(ps$pred, ps$obs)
  list(m=m, ps=ps, perf=perf)
}

# From 
sparse.cor = function(x){
  memory.limit(size=10000)
  n 200 levels')
badfactors = sapply(mergef, function(x)
  is.factor(x) && (nlevels(x)  200))
mergef = mergef[, -which(badfactors)]

print('remove near-zero variance predictors')
mergef = mergef[, -nearZeroVar(mergef)]

print('create model matrix, making everything numeric')
if (repr == 'dummy') {
  dummies = dummyVars(as.formula(paste(response, '~ .')), mergef)
  mergem = predict(dummies, newdata=mergef)
} else {
  mat = if (repr == 'sparse') model.matrix else sparse.model.matrix
  mergem = mat(as.formula(paste(response, '~ .')), data=mergef)
  # remove intercept column
  mergem = mergem[, -1]
}

print('remove high-correlation predictors')
merge.cor = (if (repr == 'sparse') sparse.cor else cor)(mergem)
mergem = mergem[, -findCorrelation(merge.cor, cutoff=.75)]

print('try a couple of different methods')
do.method = function(method) {
  train.and.test(mergem, mergef[response], mergef$istrain, method)
}
res.gbm = do.method('gbm')
res.glmnet = do.method('glmnet')
res.rf = do.method('parRF')

有了那么多数据，重采样误差估计和随机森林OOB误差估计应该非常接近。尝试使用trainControl(method = "OOB")和train()将不适合重采样数据集上的额外模型。

另外，避免像瘟疫一样的公式界面。

您也可以尝试装袋。由于每次吐痰都没有随机选择预测因子，因此可以通过50-100次重采样获得良好的结果（而不是随机森林需要更多的更多样本）。

其他人可能不同意，但我也认为对所有数据进行建模并不总是最好的方法。除非预测器空间很大，否则许多数据点将与其他数据点非常相似，并且对模型拟合没有太大贡献（除了额外的计算复杂性和结果对象的占用空间）。 caret有一个名为maxDissim的函数可能有助于细化数据（尽管它也不是非常有效）

R内存管理建议（插入符号，模型矩阵，数据帧）

3 个答案: