CAST（unix_timestamp（Column，Format））使用scala在Spark中显示错误的日期

Question

我是新来的火花。我需要更改String中的spark数据帧中的日期格式。我需要删除/以及00:00:00。我试着用

to_date(unix_timestamp($"Date", "YYYY-MM-DD 00-00-00").cast("timestamp"))  

格式正在按预期更改，但有一些随机日期。我发现问题出在unix_timestamp   数据框是从CSV文件导入的。我使用正则表达式得到了一个解决方案，但最好知道它为什么不起作用。

使用的代码:(代码可能不完全但类似）

df.select(unix_timestamp($"Date", "MM-DD-YYYY hh:mm:ss").cast("timestamp"),$"Date")

Sample Output:

Answer 1

尝试这样的事情：

df.select((unix_timestamp($"Date", "MM/dd/yyyy HH:mm:ss") * 1000).cast("timestamp"), $"Date")

有关详细信息，请参阅here。