从Google云端数据存储到BigQuery的增量数据传输

Question

我们正在尝试通过每天使用Compute Engine VM实例将数据从Google Cloud DataStore复制到BigQuery，但对我来说将整个数据集复制到BigQuery的成本如此之高，基本上，我们仅需要更新的数据（已更改的记录仅）我们不想使用shell脚本将整个表从数据存储区复制到bigquery。 请帮助我们解决此问题...

Answer 1

将数据从数据存储区导出到Bigquery you cannot append data to an existing table时。您可以创建一个新表或覆盖现有表。无论哪种方式，您都必须从数据存储中导出所有实体或特定种类的实体，但不能仅导出新数据。

可以找到here的示例脚本，该脚本可以处理从数据存储到Bigquery的导出数据。

如果要减少成本使用： -preemtibale instances与普通实例相比非常便宜->对于cron作业

我发现的另一种方法是this。但是我不确定它是否行得通，因为它是旧帖子，并且使用了MapReduce API。