我将我的网站部署到Google App Engine(使用Golang和带有1000条记录的数据存储区)。已启用结算并已建立每日预算。 “配额详细信息”页面表示一切都在配额范围内。我正在做一个Urlfetch来获取我用来在数据存储区中构建数据实体的tsv文件。
两个问题:
我该怎么办?我应该将tsv数据文件分成几个较小的文件吗?我可以请求“更多时间”,这样我就不会超过安全配额了吗?
需要注意的是,开发人员控制台的数据存储区部分显示了一些问题: 虽然我的应用程序可以访问778个数据存储区实体,但是控制台只报告484个这类实体,总共只有704个各种实体(实际上是933个)
我已经在这方面工作了一段时间,我想知道系统是否有什么问题,或者我是否可以采取措施使我的数据实体正确设置。我也希望我能找到更多有关安全配额的内容...... ...并获得远程api工作!谢谢!
答案 0 :(得分:0)
这实际上取决于您在appengine平台中对这两个用例进行此处理的位置。
例如,如果要对要在前端实例中处理的文件执行urlfetch,那么您有60秒的时间来完成所有这些处理。 App Engine要求前端实例在60秒内响应每个请求。
我假设这是你正在做的事情,因为你的请求被终止了。要绕过这个时间限制,您应该将此类批处理数据处理移动到需要在10分钟内完成每个任务的任务队列。
您的阅读也是如此。要么您需要查看数据存储区中的读取数据,还是需要使用延迟任务或管道进行批处理。
你有一个可以分享你如何编写json的片段吗?