标签: apache-spark apache-spark-sql
我想获得RDD的最后一个值, 这是我的代码:
RDD
val rdd=sc.parallelize(0 to 10,1) val last=rdd.sortBy(x=>{x},false,1).first() println(last)
效率如此低,任何人都有更好的方法?谢谢!
答案 0 :(得分:3)
如果您希望在排序后获得最后一个值
max
rdd.max()
或者您可以使用top功能
top
rdd.top(1)