使用两个条件之间的条件连接两个数据框

时间:2019-01-29 19:49:30

标签: sql apache-spark pyspark apache-spark-sql

我有两个数据帧,分别是df1和df2。令df1提供字段,而df2提供字段。而且我需要将df1的age列加入两个数据框,它们应该在df2的min_age和max_age值之间。 我使用scala spark编写了以下几行,

df1.join(df2,df1.col("age").between (df2.col("min_age"),df2.col("max_age")),"inner").show()

上面的查询与RDBMS一起用于相同的数据。但是在火花中它交叉连接并引发错误。请帮助我。

0 个答案:

没有答案
相关问题