如何从RDD获取最后一个值?

时间:2017-06-20 03:52:33

标签: apache-spark apache-spark-sql

我想获得RDD的最后一个值, 这是我的代码:

 val rdd=sc.parallelize(0 to 10,1)
 val last=rdd.sortBy(x=>{x},false,1).first()
 println(last)

效率如此低,任何人都有更好的方法?谢谢!

1 个答案:

答案 0 :(得分:3)

如果您希望在排序后获得最后一个值

,则可以使用max函数
rdd.max()

或者您可以使用top功能

rdd.top(1)