Spark:DataFrame中的类型转换

时间:2016-10-19 06:43:15

标签: jdbc spark-dataframe mysql-connector

我在dataframe中有一个字段为string的字段。我使用覆盖模式保存到mysql。字符串字段将保存为mysql中的文本字段。我想将它保存为varchar(40)。

df.write.mode("overwrite").jdbc(mysqlUrl,tableName,properties)

我怎样才能达到同样的目标?

还可以在数据框中应用索引吗?

1 个答案:

答案 0 :(得分:1)

使用强制转换函数在写入数据库之前转换数据框中的数据类型。

df.selectExpr(cast(column name) as int)  fromid).write.mode("overwrite").jdbc(mysqlUrl,tableName,properties)
可以使用窗口函数来应用

索引。