dataframe.show创建类强制转换异常spark

时间:2017-03-23 06:05:27

标签: apache-spark spark-dataframe

我有2个数据帧df1和df2。 df1是使用spark avro api从avro文件创建的。 df2是使用hive上下文创建的。我正在加入df1和df2,如下所示,

var df = df1.join(df2,Seq("column"),"right_outer").drop(df1("column"))

但是当我尝试使用df.show()进行打印时,它会抛出类强制转换异常(String不能被类型转换为double)。但是df1.show()和df2.show()工作正常。

我甚至尝试使用

删除空值
df = df.na.fill(0)

但我仍面临同样的错误。

0 个答案:

没有答案