对数据存储区的编程远程访问

时间:2011-02-04 15:18:07

标签: google-cloud-datastore

我需要实施一个批处理系统,该系统将在Google App Engine(GAE)之外运行,以批量处理来自RDBMS的数据并将其插入GAE。

appcfg.py从各种输入文件中执行此操作,但我想使用某些API“手动”执行此操作,以便我可以完全控制该过程的生命周期。是否有appcfg.py内部使用的公共API?

我会在Python中编写一个守护进程,它在我的内部服务器上运行并监视某些MySQL表。在正确的条件下,它将从MySQL获取数据,处理它,并使用GAE RemoteAPI将其发布到GAE应用程序。

2 个答案:

答案 0 :(得分:2)

听起来你已经知道该怎么做了。用你自己的话说:“从MySQL获取数据,处理它,并使用GAE RemoteAPI发布它。” remote api docs甚至有写入数据存储区的示例。

答案 1 :(得分:0)

你可能做的事情(如果我理解你的问题是什么)正在使用Task Queue。有了它,你可以定义一个任务,做你期望它做的事情;

假设您要在GAE-datastore中插入内容。在某些服务器上准备插入文件。然后转到您的应用程序并准备“开始插入任务”。通过单击将启动后台任务,读取该文件并将其插入数据存储区。

此外,如果每天执行该任务,您可以使用cron作业调用任务创建。

但是,如果您可以更多地了解您必须执行的工作,那将更容易:-P