Question

case class Foo1(codes:Seq[String], name:String)
case class Foo2(code:String, description:String)

val ds1 = Seq(
  Foo1(Seq("A"),           "foo1"),
  Foo1(Seq("A", "B"),      "foo2"),
  Foo1(Seq("B", "C", "D"), "foo3"),
  Foo1(Seq("C"),           "foo4"),
  Foo1(Seq("C", "D"),      "foo5")
).toDS

val ds2 = Seq(
  Foo2("A", "product A"),
  Foo2("B", "product B"),
  Foo2("C", "product C"),
  Foo2("D", "product D"),
  Foo2("E", "product E")
).toDS

val j = ds1.join(ds2, ds2("code") isin (ds1("codes")))

希望这个Scala代码片段清楚地说明了我想要完成的事情，我们的数据是结构化的，这样一个数据集就有一个包含值数组的列，我希望加入该集合中的值到另一个数据集。例如，Seq("A", "B")中的ds1会与"A"中的"B"和ds2一起加入。

＆＃34; isin＆＃34;列上的运算符似乎正是我想要的，这构建并运行，但是当我运行它时，我得到以下错误：

org.apache.spark.sql.AnalysisException：无法解析＆＃39;（code IN（codes））＆＃39;由于数据类型不匹配：参数必须是相同的类型;;

进一步阅读我发现isin()想要采取varargs（＆＃34; splatted args＆＃34;）并且似乎更适合filter()。所以我的问题是，这是这个运算符的预期用途，还是有其他方法来执行这种类型的连接？

Answer 1

请使用array_contains：

ds1.crossJoin(ds2).where("array_contains(codes, code)").show

+---------+----+----+-----------+
|    codes|name|code|description|
+---------+----+----+-----------+
|      [A]|foo1|   A|  product A|
|   [A, B]|foo2|   A|  product A|
|   [A, B]|foo2|   B|  product B|
|[B, C, D]|foo3|   B|  product B|
|[B, C, D]|foo3|   C|  product C|
|[B, C, D]|foo3|   D|  product D|
|      [C]|foo4|   C|  product C|
|   [C, D]|foo5|   C|  product C|
|   [C, D]|foo5|   D|  product D|
+---------+----+----+-----------+

如果您使用Spark 1.x或2.0将crossJoin替换为标准联接，并使用enable cross joins in configuration, if necessary。

有可能避免使用explode笛卡尔积：

ds1.withColumn("code", explode($"codes")).join(ds2, Seq("code")).show
+----+---------+----+-----------+                                               
|code|    codes|name|description|
+----+---------+----+-----------+
|   B|   [A, B]|foo2|  product B|
|   B|[B, C, D]|foo3|  product B|
|   D|[B, C, D]|foo3|  product D|
|   D|   [C, D]|foo5|  product D|
|   C|[B, C, D]|foo3|  product C|
|   C|      [C]|foo4|  product C|
|   C|   [C, D]|foo5|  product C|
|   A|      [A]|foo1|  product A|
|   A|   [A, B]|foo2|  product A|
+----+---------+----+-----------+

如何在连接中使用Column.isin和数组列？

1 个答案: