Question

在R中，我有一个大数据框，其中前两列是主ID（对象）和辅助ID（对象的元素）。我想创建此数据帧的一个子集，条件是必须在前一个数据帧中将主ID和辅助ID重复20次。我还必须对具有相同结构的其他数据框重复此过程。

现在，我首先计算每对值（主ID和辅助ID）在新数据帧中重复多少次，然后使用for循环创建新数据帧，但是过程是极其缓慢且效率低下：循环从具有500.000至100万行的数据帧开始每秒写入20行。

for (i in 1:13){
  x <- fread(dataframe_list[i]) #list which contains the dataframes that have to be analyzed
  x1 <- ddply(x,.(Primary_ID,Secondary_ID), nrow) #creating a dataframe which shows how many times a couple of values repeats itself
  x2 <- subset(x1, x1$V1 == 20) #selecting all couples that are repeated for 20 times
  for (n in 1:length(x2$Primary_ID)){
    x3 <- subset(x, (x$Primary_ID == x2$Primary_ID[n]) & (x$Secondary_ID == x2$Secondary_ID[n]))
    outfiles <- paste0("B:/Results/Code_3_", Band[i], ".csv")
    fwrite(x3, file=outfiles, append = TRUE, sep = ",")
  }
}

例如，如何获取前一个数据帧中所有在x2数据帧中一次获得的行作为主ID和次要ID的值的行，而不是一次写入一组20行？也许在SQL中更容易，但我现在必须处理R。

编辑：

好的。假设我是从这样的数据帧开始的（其他具有重复ID的行，我将停到5行，以缩短它）：

      Primary ID  Secondary ID  Variable
    1          1             1    0.5729 
    2          1             2    0.6289
    3          1             3    0.3123
    4          2             1    0.4569
    5          2             2    0.7319

然后用我的代码在一个新的数据帧中计算重复的行（阈值为4而不是20，所以我可以举一个简短的例子）：

      Primary ID  Secondary ID     Count
    1          1             1         1
    2          1             2         3
    3          1             3         4
    4          2             1         2
    5          2             2         4

所需的输出应该是这样的数据框：

      Primary ID  Secondary ID  Variable
    1          1             3    0.5920
    2          1             3    0.6289
    3          1             3    0.3123
    4          1             3    0.4569
    5          2             2    0.7319
    6          2             2    0.5729
    7          2             2    0.6289
    8          2             2    0.3123

Answer 1

如果有人感兴趣，我设法找到了一种方法。用上面的代码计算了几对值重复了多少次之后，可以通过以下简单方式获得我想要的输出：

#Select all the couples that are repeated 20 times
x2 <- subset(x1, x1$V1 == 20)
#Create a dataframe which contains the repeated primary and secondary IDs from x2
x3 <- as.data.frame(cbind(x2$Primary_ID, x2$Secondary_ID)
#Wanted output
dataframe <- inner_join(x, x3)

#Joining, by c("Primary_ID", "Secondary_ID")

记录具有特定数量的重复值的行

1 个答案: