合并两个数据单元格不匹配的数据帧

时间:2019-03-09 09:57:30

标签: r dataframe merge gsub grepl

我目前被困:我已经在一个网站上抓取了一个网站,该网站为相同的产品分配了非常不同的名称(即,相同的产品可以列为“ 1”,“数字1”,“类别3-数字1”)。对于这些值中的每一个,我想分配一个不同的结果(从名称更好的另一个站点抓取)。

# Messy code from original website:
df1 <- data.frame(c(1,1,1,1,2,2,2,3,3,3,3,3,4,4,4), c("Number 1", "Number 2", 
                                                      "Category 1", "3", "8",
                                                      "Number 2 - Category 5","1", "Number 4", 
                                                      "Kat 1", "4", "Kat 2", 
                                                      "Number5", "Test", "4","3"))
colnames(df1) <- c("ID", "Category")

> df1
   ID              Category
1   1              Number 1
2   1              Number 2
3   1            Category 1
4   1                     3
5   2                     8
6   2 Number 2 - Category 5
7   2                     1
8   3              Number 4
9   3                 Kat 1
10  3                     4
11  3                 Kat 2
12  3               Number5
13  4                  Test
14  4                     4
15  4                     3

# Code from other site:
df2 <- data.frame(c(1,1,1,1,2,2,2,2,3,3,3,3,3,4,4,4,4,4), c("1", "2", "3", "Category 1",
                                                      "Category 5", "1", "2", "3", "4",
                                                      "Kat 1", "Kat 2", "Kat 3","5",
                                                      "1","2","3","4","Test"), 
                  c(1,2,3,4,5,6,5,8,9,10,11,12,13,14,15,16,17,18))
colnames(df2) <- c("ID", "Category", "Outcome")

> df2
   ID   Category Outcome
1   1          1       1
2   1          2       2
3   1          3       3
4   1 Category 1       4
5   2 Category 5       5
6   2          1       6
7   2          2       5
8   2          3       8
9   3          4       9
10  3      Kat 1      10
11  3      Kat 2      11
12  3      Kat 3      12
13  3          5      13
14  4          1      14
15  4          2      15
16  4          3      16
17  4          4      17
18  4       Test      18

我想保留数据帧1,但分配从df2获取的“输出”,并与ID和Category匹配。使用左联接可以轻松完成此操作,但是如您所见,类别级别并不相同。

我一直在考虑重命名级别,但是鉴于我的数据集的大小(〜500,000行),这似乎不可行,我希望有一个更简单的解决方案(grepl,gsub?)。

我的最终结果应如下所示:

> df1
   ID              Category Outcome
1   1              Number 1       1
2   1              Number 2       2
3   1            Category 1       4
4   1                     3       3
5   2                     8      NA
6   2 Number 2 - Category 5       5
7   2                     1       6
8   3              Number 4       9
9   3                 Kat 1      10
10  3                     4       9
11  3                 Kat 2      11
12  3               Number5      13
13  4                  Test      18
14  4                     4      17
15  4                     3      16

抱歉,对于复杂的示例,我想确保涵盖所有意外情况。这里有更多解释:

只要有类别,通常都会以正确的拼写形式完整列出该类别(即,“ Kat”将始终显示为“ Kat”,而“ Category”将始终显示为“ Category”)。数字可能出现在单词“ Number”的前面,也可能只是数字本身。如果没有出现数字,我希望它显示NA-稍后必须手动添加缺少的数字。

非常感谢您的阅读-非常感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

这可能会大大简化,但是您可以尝试:

library(dplyr)

extr_last_digit <- function(x) substring(x, first = regexpr("(\\d+)(?!.*\\d)", x, perl = T))
extr_cat_digit <- function(x) gsub(".*((?<=Category\\s)\\d+).*|.*((?<=Kat\\s)\\d+).*", "\\1\\2", x, perl = T)

df1 %>%
  mutate(
    join = case_when(
      !grepl("Category|Kat", Category) ~ extr_last_digit(Category),
      TRUE ~ paste0("Category ", extr_cat_digit(Category)))
  ) %>%
  left_join(df2 %>%
              mutate(
                join = case_when(
                  !grepl("Category|Kat", Category) ~ extr_last_digit(Category),
                  TRUE ~ paste0("Category ", extr_cat_digit(Category))
                ),
                Category = NULL), 
            by = c("ID", "join")
  ) %>%
  select(-join)

输出:

   ID              Category Outcome
1   1              Number 1       1
2   1              Number 2       2
3   1            Category 1       4
4   1                     3       3
5   2                     8      NA
6   2 Number 2 - Category 5       5
7   2                     1       6
8   3              Number 4       9
9   3                 Kat 1      10
10  3                     4       9
11  3                 Kat 2      11
12  3               Number5      13
13  4                  Test      18
14  4                     4      17
15  4                     3      16

基本上,这是在两个join中创建一个df列,该列的结构相同-如果找不到CategoryKat的内容,它将使用最后提到的数字进行合并,否则将单词Category粘贴到单词CategoryKat之后的数字。

这也可以与单词Test一起使用,因为如果找不到任何数字,它只会使用整个字符串。