Spark:如何使用join方法?

时间:2014-12-30 14:07:39

标签: scala apache-spark rdd

现在我有2个RDD加入,但是当我输入" .join"我的IDE无法找到这个符号,它告诉我"无法解析符号连接"。我已经使用maven来构建我的项目并重新导入函数来处理我的依赖。 我错过了一些依赖吗? 有人能告诉我如何解决它吗? 谢谢!

1 个答案:

答案 0 :(得分:7)

您需要启用Spark隐式转换,方法是导入org.apache.spark.SparkContext._以访问(键,值)对的RDD上可用的额外函数。

import org.apache.spark.SparkContext._

val p1: RDD[(K, V)] = ...
val p2: RDD[(K, W)] = ...
val joined: RDD[(K, (V, W))] = p1.join(p2)