所以我试图为spark创建一个k-fold测试函数,我收到一个有趣的错误,我不确定如何处理。
以下代码:
val modelErrors = tst.map(
data => {
val model = createLogRegressionModel(data._1, sc)
val err = computeError(model, data._2, sc)
err
}
).reduce(_+_)
产生错误" Spark闭包中不允许返回语句"
但我不明白的是,MOST基本的火花示例,字数,SEEMS在其中有一个返回声明
val words = sc.parallelize(Array("spark", "isnt", "working", "right", "now"))
val counts = words.flatMap(line => line.split(" "))
.map(word => (word, 1)) <----RETURN STATEMENT IN A CLOSURE
.reduceByKey(_ + _)
我有什么东西在这里完全失踪了吗?!