我正在使用Google Cloud Platform(GCP)数据准备(DP)通过AVRO文件将数据移至Big Query(BQ)。我使用一个不带任何转换的DP配方直接将数据从CSV文件转换为AVRO文件。在DP中,我的列CreatedDate
的类型为date/time
,如下图所示:
注意:绘制了年份(格式为YYYY-)。
使用以下设置将数据发布到AVRO文件中时:
生成的AVRO模式以纯文本形式如下所示:
{"name":"CreatedDate","type":["null","string"],"default":null}
当导入到BQ中时,也是string
类型的列
但是,如果我使用DP中的Replace-BigQuery
发布选项将数据直接发布到BQ,则CreatedDate
列的类型将是DATETIME
,并且是NULLABLE
我想要的是。
我环顾四周,找不到从DP发布到AVRO文件的任何已知问题,这些问题会使datetime字段变成字符串字段。
我错过了什么吗?
AVRO是否不像BQ一样支持日期时间或这种格式的日期时间?
是的,我需要将DP发布到AVRO文件。我只是直接发布到BQ作为测试。我不能长期这样做。
任何其他建议/帮助都会很棒!