如何提高Google App Engine上request_logs的吞吐量

Question

从App Engine下载日志非常重要。请求是批处理的; appcfg.py不使用普通文件IO，而是使用临时文件（按时间顺序倒序），它最终会附加到本地日志文件中;在追加时，需要找到“哨兵”会使日志轮换变得困难，因为必须为appcfg.py留下足够的旧日志以记住它停止的位置。最后，Google会在一段时间后删除旧日志（我使用的应用程序为20分钟）。

随着应用扩展，日志生成速度增加，如何提高获取日志的速度，以便appcfg.py不落后？

Answer 1

您可以增加每个请求的日志批量大小。在最新的SDK（1.3.1）中，请查看google_appengine/google/appengine/tools/appcfg.py周围的内容，如861（RequestLogLines类的LogsRequester方法）。您可以修改“限制”参数。

我使用1000并且效果很好。