如何在SparkR中将额外的参数传递给spark.lapply?

时间:2019-04-29 22:07:18

标签: r apache-spark sparkr

我是Spark的新手。我正在尝试将一些R代码并行转换为SparkR。是否有类似于Spark的clusterExport的功能?例如,假设我有以下代码,是否可以将“ y”传递给spark.lapply函数?

library(SparkR)

a = data.frame(x = c(1,2,3,4,5))

fn_a <- function() {
  sparkR.session()
  y = 2
  result = spark.lapply(a, fn_b) # <- pass y here
  sparkR.session.stop()
  print(result)
}

fn_b <- function(x) {
  return(x * y)
}

fn_a()
#Expected results
2  4  6  8 10

谢谢

0 个答案:

没有答案