将原始Google Analytics数据从BigQuery移至Amazon S3

时间:2018-03-21 11:06:14

标签: google-bigquery bigtable

我们已将客户网站Google Analytics Acc与BigQuery集成在一起。因此,GA每天将原始数据转储到Bigtable中。现在我的目标是将数据移动到Amazon S3。

我可以将这些原始数据从bigtables移动到谷歌云,然后使用GCP传输作业从那里移动到S3。但是,GCP会将您的数据存储到云中。

现在,谷歌还提供差异语言的客户端库,实习生称之为GCP API。现在,我可以使用Java客户端库查询BigTable,但我不确定他们是否向您收取此类查询以及这些客户端库是否有任何配额限制。

所以,如果有人参与GA& bigQuery一起,请指导我如何从Bigtable读取数据而不花费客户任何一分钱。

1 个答案:

答案 0 :(得分:0)

一种可能的解决方案是在BigQuery端创建一个作业,每天生成一个压缩文件并将其存储在GCS中,然后拥有EC2实例,在EC2实例上安装gsutil,并触发gsutil每天从GCS复制文件。

我们每天都会以这种方式移动压缩的JSON文件。

祝你好运!