在R Sparklyr中读取TimeStamp值时出现问题

时间:2020-01-24 19:55:24

标签: r sparklyr

我无法读取以下格式的时间戳数据2020-01-20T19:37:58Z,该数据作为字符存储在csv文件中。使用spark_read_csv()读取数据时,控制台显示屏显示正确的值,但是,当我尝试获取时间戳的小时部分时,它将显示14的值,而不是实际的{{ 1}}。

当然,我认为这是时区格式的问题。有没有一种方法可以阻止Spark尝试重新解释时间值,并仅在存储时将其保留?在我的实际情况下,我将拥有超过500gb的时间戳,所以我认为最好在19中应用适当的时间戳格式,而不是必须在read_*()中使用。

我正在使用mutate()sparklyr 1.1.0R 3.6.2

Spark 2.3.3

0 个答案:

没有答案