是否可以连接相同RDD的两个实例

时间:2014-11-16 14:13:20

标签: scala mapreduce bigdata apache-spark

所以,我有一个带有键值对(SecondName,FirstName)的RDD。我们称之为 SecondNameFirstName 。现在我想为所有带姓氏的名字创建(FirstName,FirstName)对。这会加入吗?

SecondNameFirstName.join(SecondNameFirstName).map(x => x._2)

我的想法是,在进行连接后,我将拥有(SecondName,(FirstName,FirstName))的键值对。现在仅通过第二个元组,我将拥有(FirstName,FirstName)的键值对。

1 个答案:

答案 0 :(得分:0)

为什么要加入rdd呢?您可以将初始rdd映射到所需的结果:

val firstFirst= secondFirst.map{case (second, first) => (first, first)}