在spark中加入DataFrames

Question

我想使用or函数将两个数据帧联合起来：edge和selectedComponent两个键

 val selectedComponent = hiveContext.sql(s"""select * from $tableWithComponents
         |where component=$component""".stripMargin)

但不是这样

val theSelectedComponentEdges = hiveContext.sql(
  s"""select * from $tableWithComponents a join $edges b where (b.src=a.id or b.dst=a.id)""")

但使用连接功能

edges.join(selectedComponent, edges("src")===selectedComponent("id"))

但我不确定我应该如何在这里使用＆＃34;或＆＃34;。

任何人都可以帮助我： - ）？

Answer 1

edges.join(selectedComponent, (edges("src")===selectedComponent("id")) ||  (edges("dst")===selectedComponent("id")))