我是Spark的新手。我正在尝试将一些R代码并行转换为SparkR。是否有类似于Spark的clusterExport的功能?例如,假设我有以下代码,是否可以将“ y”传递给spark.lapply函数?
library(SparkR)
a = data.frame(x = c(1,2,3,4,5))
fn_a <- function() {
sparkR.session()
y = 2
result = spark.lapply(a, fn_b) # <- pass y here
sparkR.session.stop()
print(result)
}
fn_b <- function(x) {
return(x * y)
}
fn_a()
#Expected results
2 4 6 8 10
谢谢