当我在 pyspark
中执行下面提到的命令时,出现错误。你能帮我解决这个问题吗?任何线索,租赁?
命令:
df1.join(df2,df1.emp_id==df2.emp_id,how='outer').select([when(~lit(df1[c]).eqNullsafe(lit(df2[c])),\
array(lit(df1[c]).cast("string"),lit(df2[c]).cast("string"))).alias('c') for c in cols]).show(10,False)
错误信息:
TypeError Traceback (most recent call last)
<ipython-input-78-09098eca6bc7> in <module>
1 df1.join(df2,df1.emp_id==df2.emp_id,how='outer').select([when(~lit(df1[c]).eqNullsafe(lit(df2[c])),\
----> 2 array(lit(df1[c]).cast("string"),lit(df2[c]).cast("string"))).alias('c') for c in cols]).show(10,False)
<ipython-input-78-09098eca6bc7> in <listcomp>(.0)
1 df1.join(df2,df1.emp_id==df2.emp_id,how='outer').select([when(~lit(df1[c]).eqNullsafe(lit(df2[c])),\
----> 2 array(lit(df1[c]).cast("string"),lit(df2[c]).cast("string"))).alias('c') for c in cols]).show(10,False)
TypeError: 'Column' object is not callable