通过Spark Connector将Avro加载到BigQuery中

时间:2016-05-24 23:44:52

标签: apache-spark google-bigquery avro

从我在这些例子中看到的情况来看,它只能通过Gson进行。是否可以通过Spark Connector直接将Avro对象加载到BigQuery表中?当Avro规范开始超越简单的原始值时,从Avro转换为BigQuery Json变得很痛苦。 (例如工会)

干杯

1 个答案:

答案 0 :(得分:1)

不是通过Spark Connector,但BigQuery支持直接加载AVRO文件:https://cloud.google.com/bigquery/loading-data#loading_avro_files