有没有办法使用流式插入将AVRO格式的数据插入BigQuery?如果是,我们正在使用google-cloud-python,似乎不支持此功能。只有支持的类型是json。我错过了什么吗?
BQ流媒体插入的文档似乎不包括数据类型。我只能找到提到here的AVRO数据格式,但不能在流媒体插入的上下文中找到。
有没有一种方法可以使用流媒体插入以AVRO格式插入数据,您能否将我链接到任何示例?如果无法使用流媒体插入插入AVRO数据,那么使用AVRO将大量数据插入BQ的推荐方法是什么?我们的使用要求超过了每个工作日每天1000个作业的装载作业限制。
答案 0 :(得分:1)
不,目前JSON是bigquery流API唯一受支持的格式。如你所提到的,BigQuery支持AVRO作为加载作业输入。