在R

时间:2015-05-29 23:39:05

标签: r merge data.table aggregate dplyr

最终目标是对transact_data$qtyproduct_info所在transact_data$productId以及product_info所在位置的每条记录的总量(transact_data$date)求和在product_info$beg_dateproduct_info$end_date之间。

数据框如下:

product_info <- data.frame(productId = c("A", "B", "A", "C","C","B"), 
                      old_price = c(0.5,0.10,0.11,0.12,0.3,0.4),
                      new_price = c(0.7,0.11,0.12,0.11,0.2,0.3),
                      beg_date = c("2014-05-01", "2014-06-01", "2014-05-01", "2014-06-01","2014-05-01", "2014-06-01"),
                      end_date = c("2014-05-31", "2014-06-31", "2014-05-31", "2014-06-31","2014-05-31", "2014-06-31"), stringsAsFactors=FALSE)

transact_data <- data.frame(productId=c('A', 'B','A', 'C','A', 'B','C', 'B','A', 'C','A', 'B'),
                  date=c("2014-05-05", "2014-06-22", "2014-07-05", "2014-08-31","2014-05-03", "2014-02-22",
                    "2014-05-21", "2014-06-19", "2014-03-09", "2014-06-22","2014-04-03", "2014-07-08"),
                    qty =c(12,15,5,21,13,17,2,5,11,9,6,4), stringsAsFactors=FALSE)

我的第一步是通过productId合并两个数据帧:

sku_transact_merge <-merge(x=product_info, y=transact_data, by = c("productId"))

下一步是计算数量总和:

sku_transact_merge$total_qty <- ifelse(sku_transact_merge$date >= sku_transact_merge$beg_date & 
                                       sku_transact_merge$date <= sku_transact_merge$end_date, 
                                     aggregate(qty ~ productId+beg_date+end_date,
                                               data= sku_transact_merge, sum), 0)

结果不是我想要的,而且我收到的错误是

  

(list)对象无法强制输入'double'

非常感谢任何有关如何正确执行此逻辑的指示!

3 个答案:

答案 0 :(得分:3)

这可能是使用dplyr() 执行此操作的另一种方法(如果您的数据集很大,这应该会有效)

library(dplyr)
df = subset(sku_transact_merge, date > beg_date & date < end_date)
df = subset(df, select= -c(date))
out = unique(df %>% group_by(productId,old_price) %>% mutate(qty = sum(qty)))

#> out
#Source: local data frame [6 x 6]
#Groups: productId, old_price

#productId old_price new_price   beg_date   end_date qty
#1         A      0.50      0.70 2014-05-01 2014-05-31  25
#2         A      0.11      0.12 2014-05-01 2014-05-31  25
#3         B      0.10      0.11 2014-06-01 2014-06-31  20
#4         B      0.40      0.30 2014-06-01 2014-06-31  20
#5         C      0.12      0.11 2014-06-01 2014-06-31   9
#6         C      0.30      0.20 2014-05-01 2014-05-31   2

或者您可以使用data.table

library(data.table)
out = setDT(df)[, list(qtynew = sum(qty)), by = list(productId, old_price)]

#> out
#   productId old_price qtynew
#1:         A      0.50     25
#2:         A      0.11     25
#3:         B      0.10     20
#4:         B      0.40     20
#5:         C      0.12      9
#6:         C      0.30      2

答案 1 :(得分:2)

一种方法是循环遍历product_info中的元素,确定transact_data中的所有匹配产品并汇总其数量:

sapply(seq(nrow(product_info)), function(x) {
  d <- product_info[x,]
  sum(transact_data$qty[transact_data$productId == d$productId &
                        transact_data$date >= d$beg_date &
                        transact_data$date <= d$end_date])
})
# [1] 25 20 25  9  2 20

如果需要,您可以将其添加为product_info中的新列。

答案 2 :(得分:1)

product_info$total_qty <- aggregate(col~row,which(outer(product_info$productId,transact_data$productId,`==`)&outer(product_info$beg_date,transact_data$date,`<=`)&outer(product_info$end_date,transact_data$date,`>=`),arr.ind=T),function(x) sum(transact_data$qty[x]))$col;
product_info;
##   productId old_price new_price   beg_date   end_date total_qty
## 1         A      0.50      0.70 2014-05-01 2014-05-31        25
## 2         B      0.10      0.11 2014-06-01 2014-06-31        20
## 3         A      0.11      0.12 2014-05-01 2014-05-31        25
## 4         C      0.12      0.11 2014-06-01 2014-06-31         9
## 5         C      0.30      0.20 2014-05-01 2014-05-31         2
## 6         B      0.40      0.30 2014-06-01 2014-06-31        20

解释

首先,为三个匹配条件中的每一个构建逻辑矩阵,使用outer()product_info中的每条记录与transact_data中的每条记录进行比较。这三个逻辑矩阵是逻辑AND,以形成一个最终的逻辑矩阵,表示哪些记录组合匹配。

outer(product_info$productId,transact_data$productId,`==`)
&outer(product_info$beg_date,transact_data$date,`<=`)
&outer(product_info$end_date,transact_data$date,`>=`)
##       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10] [,11] [,12]
## [1,]  TRUE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
## [2,] FALSE  TRUE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE FALSE
## [3,]  TRUE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
## [4,] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE
## [5,] FALSE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE FALSE FALSE
## [6,] FALSE  TRUE FALSE FALSE FALSE FALSE FALSE  TRUE FALSE FALSE FALSE FALSE

然后,通过调用which()TRUE确定包含arr.ind=T的行索引和列索引。行索引表示来自product_info的匹配记录(因为它位于outer()调用的左侧),列索引表示来自transact_data的匹配记录。

which(...,arr.ind=T)
##       row col
##  [1,]   1   1
##  [2,]   3   1
##  [3,]   2   2
##  [4,]   6   2
##  [5,]   1   5
##  [6,]   3   5
##  [7,]   5   7
##  [8,]   2   8
##  [9,]   6   8
## [10,]   4  10

由于我们要为qty中的每条记录对transact_data的{​​{1}}值求和,我们可以aggregate()product_info分组col索引通过编写自定义聚合函数来索引row索引transact_data$qtysum()索引,为每个col返回一个值。

row

最后,我们可以将结果直接分配给aggregate(col~row,...,function(x) sum(transact_data$qty[x])) ## row col ## 1 1 25 ## 2 2 20 ## 3 3 25 ## 4 4 9 ## 5 5 2 ## 6 6 20 以完成解决方案。

product_info$total_qty

我不完全确定product_info$total_qty <- ...$col; 是否始终返回由分组列排序的结果。我刚刚在Does aggregate() guarantee that the result will be ordered by the grouping columns?问了这个问题。

另外,我刚刚意识到,如果aggregate()中的所有记录都没有product_info中的至少一个匹配记录,则直接分配将失败。

如果违反了这些假设中的任何一个,则可以按如下方式修复解决方案:

transact_data

现在,我们必须构建一个长度等于product_info$total_qty <- with(aggregate(col~row,which(outer(product_info$productId,transact_data$productId,`==`)&outer(product_info$beg_date,transact_data$date,`<=`)&outer(product_info$end_date,transact_data$date,`>=`),arr.ind=T),function(x) sum(transact_data$qty[x])),col[match(1:nrow(product_info),row)]); product_info; ## productId old_price new_price beg_date end_date total_qty ## 1 A 0.50 0.70 2014-05-01 2014-05-31 25 ## 2 B 0.10 0.11 2014-06-01 2014-06-31 20 ## 3 A 0.11 0.12 2014-05-01 2014-05-31 25 ## 4 C 0.12 0.11 2014-06-01 2014-06-31 9 ## 5 C 0.30 0.20 2014-05-01 2014-05-31 2 ## 6 B 0.40 0.30 2014-06-01 2014-06-31 20 中的行数和match() $col的完整向量,而不是取消引用product_info的最后一步。 } sums(在qty内)到它们对应的索引(在col内),在with()的帮助下。

row