我需要一个很好的解决方案,最好是现有的解决方案,例如Google Rest API,以便将数据流式传输/插入到BigQuery中。出于许多设计原因,我不想使用POST方法发送数据。我期待每秒1000次写入。数据将附加在url的查询参数中。它与Google分析非常相似,使用Get方法发送分析数据。
答案 0 :(得分:0)
这里有一份礼物:
http://dmitriilin.com/exporting-data-google-analytics-google-bigquery/ https://github.com/lnklnklnk/ga-bq
如果你有任何额外的问题问我,我使用这个解决方案。
答案 1 :(得分:0)
我可能还鼓励您使用像Dataflow流管道这样的东西来处理这些插入,而不是直接调用API。
答案 2 :(得分:0)
Google云计算功能(GCF)解决了这个问题。 GCF仍处于测试阶段,但大多数谷歌产品仍处于测试阶段。 GCF是无服务器的,可以用几行代码编写http触发器。有关详细信息,请访问 - > https://console.cloud.google.com/functions