如何使用SPARK-shell连接两个表

Question

我正在尝试使用Spark-shell命令加入两个文本文件。我写了以下代码。

val a = sc.parallelize(List(("symbol", "CNN"), ("symbol", "CND")))
val b = sc.parallelize(List(("symbol", "CNN"), ("symbol1", "CNN")))
val joned = a.join(b)

但它显示错误Join不是org.apache.Spark的成员。 任何人都可以建议我如何实现加入。

Answer 1

您错过了范围内的隐式转换为配对RDD（具有键和值的概念），所以您需要做的就是首先运行：

import org.apache.spark.SparkContext._