就像RDD有collectAsync()
一样,有没有办法在Spark中异步收集数据集?
答案 0 :(得分:0)
是collectAsync()是异步收集数据集的方式。
在RDD操作中,另一方面collectAsync()没有延迟()。
val value = rdd.collect() //RDD elements will be copied to spark driver
val value = rdd.collectAsync() //no copy here
value.get() //Now, RDD elements will be copied to spark driver
答案 1 :(得分:-2)