如何将非规范化的AppEngine数据存储区对象导出到BigQuery?

时间:2014-04-13 13:04:03

标签: python google-app-engine mapreduce google-bigquery

我创建了一个管道,用于将AppEngine数据存储对象提取到云存储,最后提取到instructions之后的BigQuery。这很有效。

我现在的目标是在我的AppEngine数据存储区中对几个具有关系的对象进行非规范化,并将此结果存储在一个大的BigQuery表中。但我没有在AppEngine MapReduce library中看到任何可以直接从数据存储区查询中读取的InputReader。

所以我的问题是:你有什么建议是加入所有数据存储表的最佳方法2.使用MapReduce将结果(数百万行)加载到GCS中,然后加载BigQuery?

我是否需要创建一个新的数据存储表,我将在其中复制非规范化数据,并使用DatastoreInputReader将此表加载到GCS,然后是BigQuery?我正在寻找一种方法来节省这个不必要的步骤。

0 个答案:

没有答案