JavaPairRDD中的countByKey是什么

时间:2015-11-10 08:25:30

标签: apache-spark rdd

我有一个名为'pair'的JavaPairRDD,想要计算密钥出现的次数(我认为JavaPairRDD不像HashMap,并且会重复密钥,我是对的吗?)。 countByKey函数返回一个Object,而不是Long。那么它不会归还计数吗?或者返回的对象是什么,我们可以从中找到计数吗?

1 个答案:

答案 0 :(得分:1)

JavaPairRDD.countByKey()返回Map,其值实际上是计数。 Java在Spark中的类型推断方面遇到了一些麻烦(在Scala中更好,更好!),因此您需要明确地将值从Object转换为Long