test <- data.frame('prod_id'= c("shoe", "shoe", "shoe", "shoe", "shoe", "shoe", "boat", "boat","boat","boat","boat","boat"),
'seller_id'= c("a", "b", "c", "d", "e", "f", "a","g", "h", "r", "q", "b"),
'Dich'= c(1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0),
'price' = c(120, 20, 10, 4, 3, 4, 30, 43, 56, 88, 75, 44)
)
test
prod_id seller_id Dich price
1 shoe a 1 120
2 shoe b 0 20
3 shoe c 0 10
4 shoe d 0 4
5 shoe e 0 3
6 shoe f 0 4
7 boat a 0 30
8 boat g 0 43
9 boat h 1 56
10 boat r 0 88
11 boat q 0 75
12 boat b 0 44
我想创建一个新列，该列基于Dich的值来获取价格列中观察值之间的差异，其中每个观察值与每个prod_id组中Dich == 1的观察值之间存在差异。这样做的语法如下。
test %>%
group_by(prod_id) %>%
mutate(diff_p = if(any(Dich ==1)) price - price[Dich == 1] else NA)
prod_id seller_id Dich price diff_p
1 shoe a 1 120 0
2 shoe b 0 20 -100
3 shoe c 0 10 -110
4 shoe d 0 4 -116
5 shoe e 0 3 -117
6 shoe f 0 4 -116
7 boat a 0 30 -26
8 boat g 0 43 -13
9 boat h 1 56 0
10 boat r 0 88 32
11 boat q 0 75 19
12 boat b 0 44 -12
现在，我想创建一个使用相同语法的函数，以便可以在新数据帧上使用该函数，并通过sparklyr :: spark_apply（）获得相同的结果。
trans <- function(e) {e %>%
group_by(prod_id) %>%
mutate(diff_p = if(any(Dich ==1)) price -price[Dich == 1] else NA)
}
rstudio在其网站上讨论了将R函数应用于火花对象的用法。
https://spark.rstudio.com/guides/distributed-r/
这是一个缩放火花数据框所有列的函数示例。
trees_tbl %>%
spark_apply(function(e) scale(e))
我想知道如何以上述解释的格式编写上述函数，以与spark_apply（）一起使用。如果您可以解释如何将e包含在函数中，这将很有帮助-e代表什么？