我正在对BigQuery进行评估,并尝试使用该表中的新列更新Avro表,但它似乎不起作用。这就是我在做的事情:
1)将数据上传到GCS
$ gsutil cp book.avro gs://analytics-145623.appspot.com/bob/v1/book.avro
$ gsutil cp book2.avro gs://analytics-145623.appspot.com/bob/v2/book2.avro
book.avro有3条记录,每条记录有3个字段
book2.avro有3条记录,每条记录有4个字段
2)创建表
$ bq mk analytics.bob_test01
3)创建表格的第一个版本,工作正常
$ bq load --source_format=AVRO analytics.bob_test01 \
gs://analytics-145623.appspot.com/bob/v1/book.avro
4)创建表的第二个版本
$ bq load --source_format=AVRO --schema_update_option=ALLOW_FIELD_ADDITION analytics.bob_test01 gs://analytics-145623.appspot.com/bob/v2/book2.avro
新数据会附加到表中,但新列不在表中。如果返回UI并手动添加列并重新运行加载,则数据将按预期显示,但这不是我想要的。我想要通常的架构演变。
我错过了什么吗?