Question

我正在使用18M记录处理R中的数据。我的电脑没有丰富的RAM可用，所以我正在尝试使用“ff”软件包进行补偿。为了使时间合理，我也使用“foreach”包并且并行运行该作业。当我将“foreach”与完整数据并行运行时，我遇到了问题;较小的数据组（比如前100K行）正确运行。

我想要获得的是根据日期滚动人们价值的每日平均值。我想要过去7天，28天，91天等的平均每日价值。我对R比较新，所以我不明白它的细微差别。当我在完整数据上运行它时，它会在一小时后停止并发出错误：

任务1失败 - 未找到对象'PersonID'

如何使用“foreach”软件包正确使用“ff”软件包。此外，如果有某种方法可以在ff数据帧中输出数据然后输入SQL，那将会很棒。代码如下：

library("ff")
library("ffbase")
library("RODBC")
myconn <- odbcConnect("NO SHOW")
data <- as.ffdf(sqlFetch(myconn, "NO SHOW"))
#data[data=="NULL"] <- NA
#persons <- unique(data$PersonID, incomparables=FALSE)
persons <- aggregate(Value ~ PersonID, data=data, FUN=length)$PersonID

rollingLength <- 7
rollingTimes <- c(7,28,91,182,364,728,100000000)
valueCol <- 6
sinceCol <- 4

func <- function(stuff,id) {

check <- subset(stuff, PersonID == id)

tempvalue <- data.frame(matrix(,nrow=nrow(check),ncol=7,byrow=TRUE))

colnames(tempvalue) <- c("value7","value28","value91","value182","value364","value728","valueLTD")

tempvalue[1,] <- c(NA,NA,NA,NA,NA,NA,NA)
rollingTrips <- c(1,1,1,1,1,1,1)
rollingSinceLast <- c(0,0,0,0,0,0,0)
startIndex <- c(1,1,1,1,1,1,1)
rollingvalues <- c(0,0,0,0,0,0,0)
rollingvalues[1:rollingLength] <- check[1,valueCol]

if (nrow(check) > 1) {

for (r in 2:nrow(check)) {

    tempvalue[r,] <- rollingvalues / rollingTrips
    rollingvalues <- rollingvalues + check[r,valueCol]
    rollingTrips <- rollingTrips + 1
    rollingSinceLast <- rollingSinceLast + ifelse(is.na(check[r,sinceCol]), 0, check[r,sinceCol])

    for (c in 1:(rollingLength-1)) {

        while (rollingSinceLast[c] >= rollingTimes[c]) {
            rollingvalues[c] <- rollingvalues[c] - check[startIndex[c],valueCol]
            rollingTrips[c] <- rollingTrips[c] - 1
            rollingSinceLast[c] <- rollingSinceLast[c] - check[startIndex[c]+1,sinceCol]
            startIndex[c] <- startIndex[c] + 1
        }

    }

}

}

return (cbind(check, tempvalue))

}

library(foreach)
library(doParallel)

cl<-makeCluster(12)
registerDoParallel(cl)

strt<-Sys.time()
outdata <- foreach(id=persons, .combine="rbind", .packages="ff") %dopar% func(data,id)
print(Sys.time()-strt)

stopCluster(cl)

sqlSave(myconn, outdata)
odbcClose(myconn)

Answer 1

foreach包的%dopar%命令需要键值的边界。您可以简单地拆分personID。另外，你sholud将partition值设置为小于makeCluster()。如果你不这样做，你得到file.access(filename, 0) == 0 is not TRUE按摩。因为，您无法访问同一群集上预先保存的ff包文件。

拆分personID示例：

split_min<-min(persons$personID)
split_max<-max(persons$personID)
partition<-12  # "partition < cluster" is good.
quart_half<-floor((split_max-split_min)/partition)
split_num<-matrix(0,partition,2)
split_num[1,1]<-split_min
split_num[1,2]<-quart_half+split_min
if(partition>=3){
for(i in 2:(partition-1)){
  split_num[i,1]<-split_num[i-1,2]+1
  split_num[i,2]<-split_num[i-1,2]+quart_half
}}
split_num[partition,1]<-split_num[partition-1,2]+1
split_num[partition,2]<-split_max

并且，更改foreach声明。

outdata <- foreach(i=1:partition, .combine="rbind", .packages="ff") %dopar% {
   IDs<-subset(persons,personID>=split_num[i,1] & personID<=split_num[i,1])$personID
   for(z in IDs){
     func(data,z)}
}

，或者

outdata <- foreach(i=1:partition, .combine="rbind") %dopar% {
  require(ff) #or require(ffbase)
  IDs<-subset(persons,personID>=split_num[i,1] & personID<=split_num[i,1])$personID
  for(z in IDs){
    func(data,z)}
}

祝你好运。

R中的“foreach”包与“ff”包不能正常工作

1 个答案: