BigQuery以Kafka为源头

时间:2018-02-20 11:04:42

标签: apache-kafka google-bigquery

我有一个加载到BigQuery的网页流数据,我想将BigQuery连接到Kafka作为源。 是否有像kafka-connect这样的连接器用于BigQuery接收器。

谢谢, 巴拉

2 个答案:

答案 0 :(得分:1)

对于BigQuery to Kafka,我找不到任何直接的API。但是,您可以通过1Python Client for Google BigQuery 在BigQuery中导出数据。然后,您可以使用Kafka Python client 将数据导入Kafka。

对于Kafka到BigQuery,Kafka Connect BigQuery Connectorbigquery-kafka-connect是从Apache Kafka到Google BigQuery的常见接收器连接器。

有关详细信息,请查看Loading data from Kafka into BigQuery with Kafka Connect

答案 1 :(得分:0)

我尚未测试/使用它,但Google已与Simba合作为bq提供ODBC和JDBC驱动程序。可能可以与JDBC连接器一起使用吗?

https://cloud.google.com/bigquery/providers/simba-drivers/