我有一张表,其中使用Spark Writer for JDBC保留了数据帧中的某些数据。数据可以正常保存,但是我还尝试使用“ createTableColumnTypes”选项将新列添加到表中。但是该列没有反映在表中。
我尝试将特定选项添加到DataFrameWriter的“ option”参数中。
Carbon::now()->toDateTimeString();
预期:
targetDF.write.format("jdbc")
.options(Map(
"url" -> "someUrl",
"user" -> "someUser",
"password" -> "somePassword",
"driver" -> "someMySqlDriver",
"dbtable" -> "admin_table.testOutput",
"createTableColumnTypes"-> "comments VARCHAR(1024)"))
.mode(SaveMode.Overwrite)
.save()
实际:
id|name|comments
1 |A |null
2 |B |null
3 |C |null
注意-该表已存在于数据库中。我是否可能需要使用“ createTableOptions”来创建与“ createTableColumnTypes”一起不存在的表。是的,有人可以引导我。