如何避免＆＃34;安全＆＃34;访问数据存储区时超额配置恐慌？ （开票已启用）

Question

我将我的网站部署到Google App Engine（使用Golang和带有1000条记录的数据存储区）。已启用结算并已建立每日预算。 “配额详细信息”页面表示一切都在配额范围内。我正在做一个Urlfetch来获取我用来在数据存储区中构建数据实体的tsv文件。

两个问题：

1. 只创建了778个实体 - 日志表示它是一个长时间运行的进程，但它似乎过早终止而没有错误消息。文件说这是正常的
2. 第二步涉及从数据存储区中的实体创建json文件。这个过程引起了“恐慌：过度夸大”，因为我想这个过程花了太长时间。

我该怎么办？我应该将tsv数据文件分成几个较小的文件吗？我可以请求“更多时间”，这样我就不会超过安全配额了吗？

需要注意的是，开发人员控制台的数据存储区部分显示了一些问题： 虽然我的应用程序可以访问778个数据存储区实体，但是控制台只报告484个这类实体，总共只有704个各种实体（实际上是933个）

我已经在这方面工作了一段时间，我想知道系统是否有什么问题，或者我是否可以采取措施使我的数据实体正确设置。我也希望我能找到更多有关安全配额的内容...... ...并获得远程api工作！谢谢！

Answer 1

这实际上取决于您在appengine平台中对这两个用例进行此处理的位置。

例如，如果要对要在前端实例中处理的文件执行urlfetch，那么您有60秒的时间来完成所有这些处理。 App Engine要求前端实例在60秒内响应每个请求。

我假设这是你正在做的事情，因为你的请求被终止了。要绕过这个时间限制，您应该将此类批处理数据处理移动到需要在10分钟内完成每个任务的任务队列。

您的阅读也是如此。要么您需要查看数据存储区中的读取数据，还是需要使用延迟任务或管道进行批处理。

你有一个可以分享你如何编写json的片段吗？