Bigquery日期时间格式csv到bigquery YYYY-MM-DD HH:MM [:SS [.SSSSSS]]

时间:2017-11-24 04:16:40

标签: csv datetime google-bigquery

在那里阅读许多日期时间格式问题,但找不到合适的问题。 - 显然 - 已经尝试谷歌了。

我在csv文件上有一些日期时间信息,我正在上传到bigquery来创建一个新表。 BQ指定任何日期时间列的format必须为[SC] EnumQueryServicesStatus:OpenService FAILED 1060: The specified service does not exist as an installed service.

他们也举了例子:

YYYY-MM-DD HH:MM:SS

但是当我在excel中将datetime列格式化为Event | UNIX | Datetime String --------------------------------------------------------- "Neil Armstrong | -14182916 | 1969-07-20 20:18:04 sets foot on | | 1969-07-20 20:18:04 UTC the moon" | | 1969-07-20T20:18:04 并将该csv上传到BQ时,我收到错误消息:

YYYY-MM-DD HH:MM:SS

当我尝试使用excel将csv列转换为Errors: mediaupload-snapshot: CSV table encountered too many errors, giving up. Rows: 1; errors: 1. (error code: invalid) query: Could not parse '2017/11/22 14:47:23 SGT' as a timestamp. Required format is YYYY-MM-DD HH:MM[:SS[.SSSSSS]]; Could not parse '2017/11/22 14:47:23 SGT' as datetime for field Start_Time (position 0) starting at location 492 (error code: invalidQuery) 时,我被告知它不是合法格式。

当我尝试YYYY-MM-DD HH:MM[:SS[.SSSSSS]]YYYY-MM-DD HH:MM:SS \U\T\C时,它在Excel中看起来不错,但我从BQ获得与上述相同的错误消息。

以CSV格式存储数据的正确方法是什么?它与BQ兼容?

3 个答案:

答案 0 :(得分:0)

我遇到了同样的问题,并使用以下格式进行了处理: #Dynamically create the number of sliders################################################## output$input_ui <- renderUI({ pvars <- df_sel() varn = names(df_sel()) lapply(seq(pvars), function(i) { numericInput(inputId = paste0("range", pvars[i]), label = names(df_sel()), value = 0) }) }) output$table <- renderTable({ pvars <- df_sel() num = as.integer(ncol(pvars)) print(num) pred <- data.frame(lapply(1:num, function(i) { input[[paste0("range", pvars[i])]] })) n = input$months pd = data.frame(pred, i=rep(1:n,ea=NROW(input$months))) }) 。我使用了TIMESTAMP数据类型中的以下示例作为参考: https://cloud.google.com/bigquery/docs/reference/standard-sql/data-types#examples

当时,我正尝试从MySQL导入DATETIME字段,并使用以下函数格式化SELECT查询中的值YYYY-MM-DDTHH:MM:SS.00Z

答案 1 :(得分:0)

如果您使用记事本而不是Excel打开文件,则可以看到要上传到BigQuery的确切格式。您在excel中看到的可能不是数据的实际样子。

答案 2 :(得分:-3)

在上传到BQ之前尝试跳过标题:

BQ import snapshot