Apache Spark Dataframe - 设置不等连接的问题

时间:2016-09-02 14:30:24

标签: scala apache-spark spark-dataframe

我有2个数据帧,我正在进行多列连接。第一对列进行相等的比较,第二对是非等于比较。代码如下所示:

val arule_1w = itemLHS
      .join(itemRHS, itemLHS("CUST_ID") === itemRHS("CUST_ID") && itemLHS("LHS") != itemRHS("RHS")

结果数据仍然包含包含itemLHS(" LHS")= itemRHS(" RHS")的行,它们不应该使用不等的连接。它也许是用户错误,但我所有的研究都告诉我格式是正确的。所有数据类型都是字符串值。

感谢您的帮助!

2 个答案:

答案 0 :(得分:1)

正确的方法是=!=而不是!=

答案 1 :(得分:-1)

在syntaxt下方使用 itemLHS(" LHS")!== itemRHS(" RHS")