GCP数据准备AVRO文件未反映数据准备中的架构。日期时间字段已更改为字符串字段

时间:2019-01-07 00:08:04

标签: google-cloud-platform google-bigquery avro google-cloud-dataprep

我正在使用Google Cloud Platform(GCP)数据准备(DP)通过AVRO文件将数据移至Big Query(BQ)。我使用一个不带任何转换的DP配方直接将数据从CSV文件转换为AVRO文件。在DP中,我的列CreatedDate的类型为date/time,如下图所示:

enter image description here

注意:绘制了年份(格式为YYYY-)。

使用以下设置将数据发布到AVRO文件中时:

生成的AVRO模式以纯文本形式如下所示:

{"name":"CreatedDate","type":["null","string"],"default":null}

当导入到BQ中时,也是string类型的列

但是,如果我使用DP中的Replace-BigQuery发布选项将数据直接发布到BQ,则CreatedDate列的类型将是DATETIME,并且是NULLABLE我想要的是。

我环顾四周,找不到从DP发布到AVRO文件的任何已知问题,这些问题会使datetime字段变成字符串字段。

我错过了什么吗?

AVRO是否不像BQ一样支持日期时间或这种格式的日期时间?

是的,我需要将DP发布到AVRO文件。我只是直接发布到BQ作为测试。我不能长期这样做。

任何其他建议/帮助都会很棒!

0 个答案:

没有答案