pySpark jdbc写入错误:调用o43.jdbc时发生错误。 :scala.MatchError:null

时间:2018-03-20 18:41:45

标签: pyspark db2 spark-dataframe spark-jdbc

我正在尝试使用pySpark将简单的spark数据帧写入db2数据库。 Dataframe只有一列,double为数据类型。

这是只有一行和一列的数据框: PySpark dataframe

这是数据帧架构: PySpark dataframe schema

当我尝试使用以下语法将此数据帧写入db2表时:

dataframe.write.mode('overwrite').jdbc(url=url, table=source, properties=prop)

它首次在数据库中创建表而没有任何问题,但是如果我第二次运行代码,它会引发异常: Error Log

在DB2端,列数据类型也是DOUBLE

不确定我错过了什么。

1 个答案:

答案 0 :(得分:0)

我只是改变了代码中的一小部分,它运行得很好。 这是我对语法做的小改动

dataframe.write.jdbc(url=url, table=source, mode = 'overwrite', properties=prop)