如何使用不同的JavaPairRDD

时间:2017-12-26 00:32:21

标签: java hadoop apache-spark java-pair-rdd

我有两个不同的JavaPairRdd,一个是Key1,值,第二个是key2,value。我试图实现的是合并它们,但只获得具有相同值的项目。

我尝试了以下内容:

 JavaPairRDD<String, String> finalRdd = filteredRdd.intersection(filteredsmallRdd);

其中filteredRdd包含键:Country,value和filteredsmallRdd包含:key:id,value。我需要哪些元素具有相同的值,交叉点我认为比较唯一的键我得到一个空的解决方案,任何想法如何做到这一点?

1 个答案:

答案 0 :(得分:0)

您可以使用swap将值更改为每个rdd的键,然后执行交集。

JavaPairRDD<String,String> finalRdd = filteredRdd.mapToPair(f -> f.swap()).intersection(filteredsmallRdd.mapToPair(f -> f.swap()));