使用AVRO格式的BiqQuery流插入

时间:2017-01-30 18:30:23

标签: python google-bigquery google-cloud-platform avro

有没有办法使用流式插入将AVRO格式的数据插入BigQuery?如果是,我们正在使用google-cloud-python,似乎不支持此功能。只有支持的类型是json。我错过了什么吗?

BQ流媒体插入的文档似乎不包括数据类型。我只能找到提到here的AVRO数据格式,但不能在流媒体插入的上下文中找到。

有没有一种方法可以使用流媒体插入以AVRO格式插入数据,您能否将我链接到任何示例?如果无法使用流媒体插入插入AVRO数据,那么使用AVRO将大量数据插入BQ的推荐方法是什么?我们的使用要求超过了每个工作日每天1000个作业的装载作业限制。

1 个答案:

答案 0 :(得分:1)

不,目前JSON是bigquery流API唯一受支持的格式。如你所提到的,BigQuery支持AVRO作为加载作业输入。