将json字符串的数据类型更改为spark中的Datetime

Question

我正在喂json文件引发火花。其中的值是Datetime类型，但它正在转换为字符串类型。我在这里得到了一个解决方案，在改变它的InferSchema.scala文件之后说重建火花但是我不想这样做。有什么办法可以在读取json文件时进行转换。也可以在＆＃34; jsonFiles.registerTempTable（＆＃39; jsonFiles＆＃39;）＆＃34;之后使用spark sql转换它。在这方面的任何帮助将受到极大的关注。

Answer 1

使用jsonFile功能，您还可以在读取时指定架构，所以：

sqlContext.jsonFile(path, schema)或新API（1.4后）sqlContext.read.schema(schema).format("json").load(path)