我有两个表,我想使用dplyr进行完全连接,但我不希望它删除任何列。根据文档和我自己的经验,它只保留左侧的连接列。如果您的右侧有一条记录,那么这是一个问题,因为连接值已经消失。
例如,假设我有两个表a和b,
customerId | revenue customerId | state
-----------|--------- -----------|-------
1 | 2000 1 | CA
2 | 3000 3 | GA
4 | 4000 4 | NY
执行full_join(a, b, by="customerId")
之类的操作会产生
customerId | revenue | state
-----------|---------|-------
1 | 2000 | CA
2 | 3000 | <NA>
<NA> | <NA> | GA
4 | 4000 | NY
所以没有办法告诉第三行来自哪个客户。理想的输出是
customerId.a | customerId.b | revenue | state
-------------|--------------|---------|-------
1 | 1 | 2000 | CA
2 | <NA> | 3000 | <NA>
<NA> | 3 | <NA> | GA
4 | 4 | 4000 | NY
请注意,这只是一个玩具示例。我实际上使用的是sparklyr,所以这一切都在Spark中运行。因此,合并不会在这里为我工作。有没有办法做我在dplyr中寻找的东西?
编辑: 有人指出,这实际上是在dplyr本地工作。但是,我确实使用sparklyr(使用dplyr)看到了这个问题。以下是代码:
library(sparklyr)
sc <- spark_connect("local[4]")
d1 <- data_frame(customerId = c("1","2","4"), revenue=c(2000,3000,4000))
d2 <- data_frame(customerId = c("1","3","4"), state=c("CA", "GA", "NY"))
d1_tbl <- copy_to(sc, d1)
d2_tbl <- copy_to(sc, d2)
full_join(d1_tbl, d2_tbl, by=c("customerId"))
答案 0 :(得分:6)
您可以在加入之前为两个数据框创建单独的相同customerId
:
full_join(
mutate(a, customerId.a = customerId),
mutate(b, customerId.b = customerId),
by="customerId"
) %>% select(-customerId)
# revenue customerId.a state customerId.b
#1 2000 1 CA 1
#2 3000 2 <NA> NA
#3 4000 4 NY 4
#4 NA NA GA 3
答案 1 :(得分:3)
我无法重现你的问题。所有ID都应该(并且)包含在完整连接中。
library(data_frame)
d1 <- data_frame(
customerId = c(1, 2, 4),
revenue = c(2000, 3000, 4000)
)
d2 <- data_frame(
customerId = c(1, 3, 4),
state = c("CA", "GA", "NY")
)
full_join(d1, d2, by = "customerId")
## # A tibble: 4 × 3
## customerId revenue state
## <dbl> <dbl> <chr>
## 1 1 2000 CA
## 2 2 3000 <NA>
## 3 4 4000 NY
## 4 3 NA GA
更新:我可以使用sparklyr
重现问题。这是奇怪的行为,所以你可能想提出一个问题。 (不清楚问题是sparklyr
还是dplyr
还是DBI
还是Spark SQL。)
使用explain()
,您可以看到生成的SQL。
full_join(d1_tbl, d2_tbl, by=c("customerId")) %>% explain()
你可以尝试运行自定义SQL查询来获得你想要的东西,虽然它有点麻烦。
library(DBI)
qry <- "SELECT
d1.customerID AS customerID1,
d2.customerID AS customerID2,
d1.revenue,
d2.state
FROM d1
FULL JOIN d2
ON d1.customerId = d2.customerId"
dbGetQuery(sc, qry)
## customerID1 customerID2 revenue state
## 1 1 1 2000 CA
## 2 2 <NA> 3000 <NA>
## 3 <NA> 3 NaN GA
## 4 4 4 4000 NY
答案 2 :(得分:1)
这已经修复
> full_join(d1_tbl, d2_tbl, by="customerId")
# Source: lazy query [?? x 3]
# Database: spark_connection
customerId revenue state
<chr> <dbl> <chr>
1 1 2000 CA
2 3 NaN GA
3 2 3000 <NA>
4 4 4000 NY