如何避免"安全"访问数据存储区时超额配置恐慌? (开票已启用)

时间:2015-03-28 18:16:43

标签: google-app-engine go google-cloud-datastore gae-quotas

我将我的网站部署到Google App Engine(使用Golang和带有1000条记录的数据存储区)。已启用结算并已建立每日预算。 “配额详细信息”页面表示一切都在配额范围内。我正在做一个Urlfetch来获取我用来在数据存储区中构建数据实体的tsv文件。

两个问题:

  1. 只创建了778个实体 - 日志表示它是一个长时间运行的进程,但它似乎过早终止而没有错误消息。文件说这是正常的
  2. 第二步涉及从数据存储区中的实体创建json文件。这个过程引起了“恐慌:过度夸大”,因为我想这个过程花了太长时间。
  3. 我该怎么办?我应该将tsv数据文件分成几个较小的文件吗?我可以请求“更多时间”,这样我就不会超过安全配额了吗?

    需要注意的是,开发人员控制台的数据存储区部分显示了一些问题: 虽然我的应用程序可以访问778个数据存储区实体,但是控制台只报告484个这类实体,总共只有704个各种实体(实际上是933个)

    我已经在这方面工作了一段时间,我想知道系统是否有什么问题,或者我是否可以采取措施使我的数据实体正确设置。我也希望我能找到更多有关安全配额的内容...... ...并获得远程api工作!谢谢!

1 个答案:

答案 0 :(得分:0)

这实际上取决于您在appengine平台中对这两个用例进行此处理的位置。

例如,如果要对要在前端实例中处理的文件执行urlfetch,那么您有60秒的时间来完成所有这些处理。 App Engine要求前端实例在60秒内响应每个请求。

我假设这是你正在做的事情,因为你的请求被终止了。要绕过这个时间限制,您应该将此类批处理数据处理移动到需要在10分钟内完成每个任务的任务队列。

您的阅读也是如此。要么您需要查看数据存储区中的读取数据,还是需要使用延迟任务或管道进行批处理。

你有一个可以分享你如何编写json的片段吗?