我正在编写一个Spark Streaming Application,我需要保存更新的模型,所以我做了如下:
data.foreachRDD { rdd =>
model = model.update(rdd)
rdd.context.parallelize(model.nodes).saveAsTextFile("target/model")
//model.nodes is an Array[Vector]
}
问题是我收到了这个错误(因为它是一个循环):
Output directory file "target/model" already exists
有人有想法解决这个问题吗?感谢