spark join生成检测到的笛卡尔积例例

时间:2017-02-08 12:33:51

标签: scala apache-spark dataframe spark-dataframe

我有2个带有下一个模式的数据框:

第一

  • s:string(nullable = true)
  • r:string(nullable = true)
  • Map:string(nullable = true)
  • r1:string(nullable = true)
  • c1:string(nullable = true)
  • s2:string(nullable = true)
  • s3:string(nullable = true)
  • N:string(nullable = true)

第二

  • k:string(nullable = true)
  • k1:string(nullable = true)
  • M:string(nullable = true)
  • M1:string(nullable = true)
  • Map:string(nullable = true)

当我想加入他们时,我有“检测到逻辑计划之间的INNER联接的笛卡尔积”异常“。

我尝试了几个连接:

val df = df1.join(df2, "Map")

val df = df1.join(df2, df1("Map") === df2("Map") )

等。但我每次都有例外。我错过了什么?

0 个答案:

没有答案