Question

我正在尝试使用foreach和%dopar%将以下代码转换为并行代码。

library(doSNOW)
library(foreach)
cl<- makeCluster(4, type = "SOCK")
registerDoSNOW(cl)

min_subid <- c()
max_subid <- c()
p_typ <- c()
p_nm <- c()
st_tm<-c()
end_tm <- c()
supp <- c()
chart_type <- c()

foreach(j =1:noOfPhases)    %dopar%
{
  start_time    <-phases[j, colnames(phases)=="StartTime"]
  end_time      <-phases[j, colnames(phases)=="StopTime"]
  phase_type    <-phases[j, colnames(phases)=="Phase_Type_Id"]
  phase_name    <-phases[j, colnames(phases)=="Phase_Name"]
  suppress      <-phases[j, colnames(phases)=="Suppression_Time"]
  chart_typ     <-phases[j, colnames(phases)=="chartType"]

  conft<-(masterData$Time.Subgroup>=start_time & masterData$Time.Subgroup<=end_time)

  masterData[which(conft), colnames(masterData)=="Phase_Type"]<-phase_type
  masterData[which(conft), colnames(masterData)=="Phase_Name"]<-phase_name

  min_subid <- rbind(min_subid, min(which(conft)))
  max_subid <- rbind(max_subid, max(which(conft)))
  p_typ     <- rbind( p_typ, masterData$Phase_Type[min(which(conft))])
  p_nm      <- rbind( p_nm, masterData$Phase_Name[min(which(conft))])
  st_tm     <- rbind( st_tm, as.character(start_time))
  end_tm    <- rbind( end_tm, as.character(end_time))
  supp      <- rbind(supp,as.character(suppress))
  chart_type <- rbind(chart_type,as.character(chart_typ))

  phase_info <- data.frame(Subgrp_No_Start=min_subid, Subgrp_No_End=max_subid, Phase_Type=p_typ, 
                           Phase_Name=p_nm, Start_Time=st_tm, Stop_Time=end_tm,
                                             Suppression_Time=supp,ChartType=chart_type) 
}

 phase_output<-merge(phase_info, phases, by.x=c("Start_Time",
   "Stop_Time","ChartType"), by.y=c("StartTime", "StopTime","chartType"))

如果包含%do%而不是%dopar%，则上述代码会成功执行。任何人都可以帮助我理解为什么当它并行运行（%dopar%）并在顺序（%do%）上成功运行时出现以下错误

Error in merge(phase_info, phases, by.x = c("Start_Time", "Stop_Time",  : 
  object 'phase_info' not found

Answer 1

解决方案非常简单，但我首先解释了执行代码解释错误时发生的情况。

foreach块中发生的情况是，为phase_info的每个值创建了一个数据框（j），它们在列表中一起返回。但是，由于您的作业phase_info <- data.frame(...)位于foreach内而非外部，因此该列表不会存储在任何位置并被丢弃。混淆的原因是当使用%do%时，您在主节点上按顺序创建所有数据帧，并且在使用%dopar%时，在上并行创建帧>工作节点。如果您使用merge，则在主节点上执行以下%dopar%命令会导致错误，因为phase_info在其工作空间中不存在。还要注意，当使用上面的%do%时，foreach的每次迭代都会覆盖前一次的迭代（即只得到最后一次迭代的结果）。

这个小改动修复了它：

phase_info <- foreach(...) %dopar% {
    ...

    data.frame(Subgrp_No_Start=min_subid, Subgrp_No_End=max_subid, Phase_Type=p_typ, 
                           Phase_Name=p_nm, Start_Time=st_tm, Stop_Time=end_tm,
                                             Suppression_Time=supp,ChartType=chart_type)
    # No need to give it a name as it will be returned and the name forgotten
}
phase_output <- merge(phase_info, ...)

正如我上面提到的，phase_info现在将是一个列表，其中每个元素都是数据框。我现在只是猜测，但你可能想要执行merge元素，然后像这样：

phase_output <- lapply(phase_info, merge, phases, by.x=c("Start_Time",
     "Stop_Time","ChartType"), by.y=c("StartTime", "StopTime","chartType"))

Foreach抛出％dopar％的错误，但使用％do％成功执行

1 个答案: