Question

我的问题与发布here的问题非常相似。

不同之处在于，他们知道会出现冲突的列，而我需要一个事先不知道哪些列冲突的通用方法。

示例：

TABLE1
Date             Time    ColumnA    ColumnB
01/01/2013      08:00      10         30
01/01/2013      08:30      15         25
01/01/2013      09:00      20         20
02/01/2013      08:00      25         15
02/01/2013      08:30      30         10
02/01/2013      09:00      35         5

TABLE2
Date           ColumnA    ColumnB    ColumnC
01/01/2013      100        300         1
02/01/2013      200        400         2

表2仅包含日期，因此适用于表A中与日期无关的所有字段。

我希望合并将冲突列合并为1.结果应如下所示：

TABLE3
Date             Time    ColumnA    ColumnB    ColumnC
01/01/2013      08:00      110         330        1
01/01/2013      08:30      115         325        1
01/01/2013      09:00      120         320        1
02/01/2013      08:00      225         415        2
02/01/2013      08:30      230         410        2
02/01/2013      09:00      235         405        2

目前我的标准合并只会创建“ColumnA.x”，“ColumnA.y”，“ColumnB.x”，“ColumnB.y”的重复列。

非常感谢任何帮助

Answer 1

如果我理解正确，您需要一种灵活的方法，除了要合并的列和要保留的列之外，不需要知道每个表中存在哪些列。这可能不是最优雅的解决方案，但这里有一个示例功能，以满足您的确切需求：

merge_Sum <- function(.df1, .df2, .id_Columns, .match_Columns){
    merged_Columns <- unique(c(names(.df1),names(.df2)))
    merged_df1 <- data.frame(matrix(nrow=nrow(.df1), ncol=length(merged_Columns)))
    names(merged_df1) <- merged_Columns
    for (column in merged_Columns){
        if(column %in% .id_Columns | !column %in% names(.df2)){
            merged_df1[, column] <- .df1[, column]
        } else if (!column %in% names(.df1)){
            merged_df1[, column] <- .df2[match(.df1[, .match_Columns],.df2[, .match_Columns]), column]
        } else {
            df1_Values=.df1[, column]
            df2_Values=.df2[match(.df1[, .match_Columns],.df2[, .match_Columns]), column]
            df2_Values[is.na(df2_Values)] <- 0
            merged_df1[, column] <- df1_Values + df2_Values
        }
    }
    return(merged_df1)
}

此函数假设您有一个表'.df1'，它是一个排序主，并且您希望合并第二个表'.df2'中的数据，该表具有与'.df1中的一个或多个行匹配的行”。要从主表'.df1'保留的列被接受为数组'.id_Columns'，并且提供用于合并这两个表的匹配的列被接受为数组'.match_Columns'

对于您的示例，它可以这样工作：

merge_Sum(table1, table2, c("Date","Time"), "Date")

#   Date       Time  ColumnA ColumnB ColumnC
# 1 01/01/2013 08:00     110     330       1
# 2 01/01/2013 08:30     115     325       1
# 3 01/01/2013 09:00     120     320       1
# 4 02/01/2013 08:00     225     415       2
# 5 02/01/2013 08:30     230     410       2
# 6 02/01/2013 09:00     235     405       2

在简单语言中，此函数首先查找唯一列的总数，并以主表“.df1”的形状创建一个空数据框，以便稍后保存合并数据。然后，对于'.id_Columns'，数据从'.df1'复制到新的合并数据帧中。对于其他列，“。df1”中存在的任何数据都会添加到“.df2”中的任何现有数据中，其中“.df2”中的行根据“.match_Columns”进行匹配

可能有一些类似的程序包，但大多数需要知道所有现有的列以及如何处理它们。正如我之前所说，这不是最优雅的解决方案，但它灵活而准确。

更新：原始函数假定table1和table2之间存在多对一关系，并且OP也请求允许多对多关系。代码已经更新，效率稍低但100％更灵活。

Answer 2

data.table解决方案：

dt1 <- data.table(read.table(header=T, text="Date             Time    ColumnA    ColumnB
01/01/2013      08:00      10         30
01/01/2013      08:30      15         25
01/01/2013      09:00      20         20
02/01/2013      08:00      25         15
02/01/2013      08:30      30         10
02/01/2013      09:00      35         5"))

dt2 <- data.table(read.table(header=T, text="Date           ColumnA    ColumnB    ColumnC
01/01/2013      100        300         1
02/01/2013      200        400         2"))

setkey(dt1, "Date")
setkey(dt2, "Date")
# Note: The ColumnC assignment has to be come before the summing operations
# Else it gives out error (see below)
dt1[dt2, `:=`(ColumnC = i.ColumnC, ColumnA = ColumnA + i.ColumnA, 
                        ColumnB = ColumnB + i.ColumnB)]

#          Date  Time ColumnA ColumnB ColumnC
# 1: 01/01/2013 08:00     110     330       1
# 2: 01/01/2013 08:30     115     325       1
# 3: 01/01/2013 09:00     120     320       1
# 4: 02/01/2013 08:00     225     415       2
# 5: 02/01/2013 08:30     230     410       2
# 6: 02/01/2013 09:00     235     405       2

我不确定为什么在右端放置ColumnC分配会引发此错误。也许MatthewDowle可以解释这个错误的原因。

dt1[dt2, `:=`(ColumnA = ColumnA + i.ColumnA, ColumnB = ColumnB + i.ColumnB, 
                        ColumnC = i.ColumnC)]

Error in `[.data.table`(dt1, dt2, `:=`(ColumnA = ColumnA + i.ColumnA,  : 
  Value of SET_STRING_ELT() must be a 'CHARSXP' not a 'NULL'

从v1.8.9更新：

o将新增和更新现有列混合到一个:=（）中;即，
  DT[,：= (existingCol=...,newCol=...), by=...]
现在无误或无效   段错误，＃2778和＃2528。非常感谢Arun通过可重复的示例进行报告。测试补充说。

Answer 3

我编写了safejoin软件包，非常简洁地解决了该问题

{{ pks|random }}

如果发生冲突，则在成对冲突的列上使用函数#devtools::install_github("moodymudskipper/safejoin") library(safejoin) safe_full_join(df1,df2, by = "Date", conflict = `+`) # Date Time ColumnA ColumnB ColumnC # 1 01/01/2013 08:00 110 330 1 # 2 01/01/2013 08:30 115 325 1 # 3 01/01/2013 09:00 120 320 1 # 4 02/01/2013 08:00 225 415 2 # 5 02/01/2013 08:30 230 410 2 # 6 02/01/2013 09:00 235 405 2

数据

合并数据帧，同时对R中的公共列求和

3 个答案: