从数据存储区导出/提取数据

时间:2012-11-17 06:18:22

标签: google-app-engine etl google-cloud-datastore database-backups

GAE开发的新内容,并对提取数据有一些疑问。

我有一个应用程序,它从最终用户收集数据,数据存储在高可用性数据存储区中,并且需要定期将应用程序收集的数据子集发送给业务合作伙伴。

以下是我的问题, 1.如何定期备份数据存储中的数据,比如每日增量备份和每周完整备份? 2.生成每日数据转储文件的最佳做法是什么,可以下载或以安全方式发送给我的合作伙伴。我希望每天只有几百MB的数据文件,最终将在几GB范围内。 3.我的业务合作伙伴可以通过基本的HTTP身份验证进行身份验证,还是必须使用OAuth?

1 个答案:

答案 0 :(得分:0)

Google实际上是通过将数据存储在多个数据中心来备份数据。

但是,如果需要,您可以使用批量加载器并手动备份:

Uploading and Downloading Data

您可以根据自己的选择对用户进行身份验证,这完全取决于您。 “用户”服务直接集成到应用程序引擎中,但是如果每个人都拥有或可能拥有更容易使用的Google帐户。

The users service

由于文件的大小,除非您想从数据存储区中将它们拼凑在一起,否则您将不得不使用其他内容,因为每个模型的数据存储区限制为1MB。然而,完全可以这样做。

但您应该查看The Google Cloud Storage API,因为没有文件大小限制。