异步收集Spark中的数据集

时间:2017-08-22 06:44:56

标签: java apache-spark dataset

就像RDD有collectAsync()一样,有没有办法在Spark中异步收集数据集?

2 个答案:

答案 0 :(得分:0)

是collectAsync()是异步收集数据集的方式。

在RDD操作中,另一方面collectAsync()没有延迟()。

val value = rdd.collect() //RDD elements will be copied to spark driver 
val value = rdd.collectAsync() //no copy here  
value.get() //Now, RDD elements will be copied to spark driver 

答案 1 :(得分:-2)