在PySpark / Glue中加入nullsafe

时间:2019-05-09 15:20:59

标签: pyspark aws-glue

尝试使用<=>运算符在PySpark中为AWS Glue作业进行nullsafe联接;据我所知,应该尽可能地支持此功能,但是出现语法错误。

试图寻找文档进行澄清,但一无所获。其他文章在这里: Including null values in an Apache Spark Join  建议这样做应该很好,因为Glue支持(我相信)Spark 2.2.1

但是

    new_df = df1.join(
        df2,
        (df1.mycol <=> df2.mycol),
        how='left')

返回:

  File "<stdin>", line 221
    (df1.mycol <=> df2.mycol),
                 ^
SyntaxError: invalid syntax

我需要以某种方式逃离操作员吗?

0 个答案:

没有答案