Question

对于Revolution R Enterprise用户，有没有办法将函数应用于.xdf的因子级别，比如rxCube()？我知道变换让你对数据 pre 制表进行操作，但在我看来，你只能获得（count，sum，mean）。

例如，我希望找到具有特定变量最小值的行，以industry * year为条件。

我能想到的唯一解决方案是rxSplit()数据，按您想要的变量排序，然后按照您的意愿行事。我确定不能做到这一点的原因是太多的完整性条件/支持的制表函数实际上实际上是在C中优化的，并且使用你自己的函数会更复杂，而且速度非常慢。

基本上有一个内存不足的数据会很棒。

Answer 1

使用RevoScaleR中的单个功能，您所描述的内容并不容易。您使用rxSplit描述的是一种方式。这里，将结果与内存中aggregate的结果进行比较，以表明它们是相同的。

set.seed(1234)
myData <- data.frame(year = factor(sample(2000:2015, size = 100, replace = TRUE)),
                     x = rnorm(100))
xdfFile <- rxDataStep(inData = myData, outFile = "test.xdf", rowsPerRead = 10)

newDir <- file.path(getwd(), "splits")
dir.create(newDir)
splitFiles <- rxSplit(inData = xdfFile, 
                      outFilesBase = paste0(newDir, "/", gsub(".xdf", "",
                                            basename(xdfFile@file))), 
                      splitByFactor = "year")

minFun <- function(xdf) {
  dat <- rxDataStep(inData = xdf, reportProgress = 0)
  data.frame(year = dat$year[1], minPos = which.min(dat$x))
}
minPos <- do.call(rbind, lapply(splitFiles, minFun))
row.names(minPos) <- NULL

minPos
aggregate(x ~ year, data = myData, FUN = which.min

以上确实假设每组中的数据可以适合RAM。如果不是这种情况，则需要进行一些调整。

假设单个组可以放入RAM，那就是另一种解决方案，即使用RevoPemaR包。

library("RevoPemaR")

rxSort(inData = xdfFile, outFile = xdfFile, sortByVars = "year", overwrite = TRUE)

byGroupPemaObj <- PemaByGroup()
minByYear <- pemaCompute(pemaObj = byGroupPemaObj, data = xdfFile, 
                       groupByVar = "year", computeVars = "x", 
                       fnList = list(
                         minPos = list(FUN = which.min, x = NULL)))

minPos

通过Revolution R聚合.xdf

1 个答案: