推断BigQuery表加载的Avro模式

时间:2018-08-23 14:26:27

标签: google-bigquery google-cloud-storage

我正在使用Java API,试图将数据从Avro文件加载到BigQuery中。 创建外部表时,BigQuery会自动从.avro文件中检测模式。 为要加载的数据创建常规BigQuery表时,是否可以在GCS中指定架构/数据文件?

提前谢谢

2 个答案:

答案 0 :(得分:1)

您可以使用manually the schema definition创建configuration.load.schema,但是文档指出:

  

在加载Avro,Parquet,ORC,Cloud Firestore导出数据或Cloud Datastore导出数据时,BigQuery会从源数据中推断模式。

答案 1 :(得分:0)

似乎问题在于表已经存在,并且我没有指定CreateDisposition.CREATE_IF_NEEDED。 您完全不需要指定架构,就像外部表一样