Google AppEngine - 如何执行部分数据存储下载

时间:2013-01-29 00:17:29

标签: python google-app-engine google-cloud-datastore

我有一个正在运行的GAE应用程序,它已经收集了一段时间的数据。我现在需要运行一些关于这些数据的基本报告,并希望将一部分实时数据下载到我的开发服务器。下载所有类型的实体对于开发服务器而言只是一个太大的数据集。

有没有人知道从特定类型下载实体子集的方法?理想情况下,它将基于实体属性,如日期或客户端ID等......但任何方法都可行。我甚至尝试过定期的,完整的下载,然后在我认为我有足够的数据的时候任意杀死进程,但似乎数据被锁存在由bulkloader生成的.sql3文件中。

1 个答案:

答案 0 :(得分:1)

看起来,GAE数据存储实用程序的默认下载/上传不支持过滤(appcfg.py和bulkloader.py)。

做两件事之一似乎是合理的:

  • 编写一个实用程序(选择+导出+保存到本地文件)并在本地执行,在remote api shell
  • 中访问远程GAE数据存储区
  • 为select + export + zip编写管理web功能 - 处理程序中的新url +上传到GAE + call-it-using-http