我有2个数据帧df1和df2。 df1是使用spark avro api从avro文件创建的。 df2是使用hive上下文创建的。我正在加入df1和df2,如下所示,
var df = df1.join(df2,Seq("column"),"right_outer").drop(df1("column"))
但是当我尝试使用df.show()进行打印时,它会抛出类强制转换异常(String不能被类型转换为double)。但是df1.show()和df2.show()工作正常。
我甚至尝试使用
删除空值df = df.na.fill(0)
但我仍面临同样的错误。