我需要实施一个批处理系统,该系统将在Google App Engine(GAE)之外运行,以批量处理来自RDBMS的数据并将其插入GAE。
appcfg.py
从各种输入文件中执行此操作,但我想使用某些API“手动”执行此操作,以便我可以完全控制该过程的生命周期。是否有appcfg.py
内部使用的公共API?
我会在Python中编写一个守护进程,它在我的内部服务器上运行并监视某些MySQL表。在正确的条件下,它将从MySQL获取数据,处理它,并使用GAE RemoteAPI将其发布到GAE应用程序。
答案 0 :(得分:2)
听起来你已经知道该怎么做了。用你自己的话说:“从MySQL获取数据,处理它,并使用GAE RemoteAPI发布它。” remote api docs甚至有写入数据存储区的示例。
答案 1 :(得分:0)
你可能做的事情(如果我理解你的问题是什么)正在使用Task Queue。有了它,你可以定义一个任务,做你期望它做的事情;
假设您要在GAE-datastore中插入内容。在某些服务器上准备插入文件。然后转到您的应用程序并准备“开始插入任务”。通过单击将启动后台任务,读取该文件并将其插入数据存储区。
此外,如果每天执行该任务,您可以使用cron作业调用任务创建。
但是,如果您可以更多地了解您必须执行的工作,那将更容易:-P