使用App Engine逐步创建100k +行文件

Question

我想从我们的App Engine应用程序导出一些数据 - 当前数据集大约是70k（将增长）需要过滤的实体。

使用cron作业（app引擎任务）完成过滤，每次1k批。是否有一种机制可以让我在现有文件中添加行，而不是批量上传（如Google云端存储需要）？

Answer 1

您可以使用Datastore API从您自己的PC或计算引擎实例访问数据存储区，并将所有实体写入硬盘驱动器（或计算引擎实例）。它与在App Engine实例中使用数据存储区不同，但只是略有不同，所以编写代码应该没有问题。

但是，我必须注意，将100个文件写入云存储，每个文件包含1000个实体，这听起来像是一个很好的解决方案。无论你以后想用这些记录做什么，拥有100个较小的文件而不是一个大的超级文件可能是个好主意。