Spark不会让我创造一个封闭

时间:2015-09-11 21:51:46

标签: scala machine-learning apache-spark

所以我试图为spark创建一个k-fold测试函数,我收到一个有趣的错误,我不确定如何处理。

以下代码:

val modelErrors = tst.map(
      data => {
    val model = createLogRegressionModel(data._1, sc)
    val err = computeError(model, data._2, sc)
        err
  }
).reduce(_+_)

产生错误" Spark闭包中不允许返回语句"

但我不明白的是,MOST基本的火花示例,字数,SEEMS在其中有一个返回声明

val words = sc.parallelize(Array("spark", "isnt", "working", "right", "now"))
val counts = words.flatMap(line => line.split(" "))
  .map(word => (word, 1))  <----RETURN STATEMENT IN A CLOSURE
  .reduceByKey(_ + _)

我有什么东西在这里完全失踪了吗?!

0 个答案:

没有答案