我已打开开关,将GAE Standard应用程序的日志发送到GCS存储桶。我看到每天都有预期的文件夹。每天的每个小时,我都会看到一个非常大的json文件,扩展名为_S0.json。几个小时我也看到一个小得多的文件,扩展名为_A0:.json。例如:
01:00:00_01:59:59_S0.json& 01:00:00_01:59:59_A0:4679580000.json
有什么区别,我正在尝试发布处理文件并需要知道。
答案 0 :(得分:1)
导出到GCS的日志是分片的,_A0
和_S0
只是日志分片的标识符。
来自Log entries in Google Cloud Storage(强调我的):
叶子目录(
DD/
)包含多个文件,每个文件都有 保存导出的日志条目,保存文件中指定的时间段 名称。这些文件是分片,其名称以分片编号结尾,Sn
或An
(n = 0,1,2,...)。例如,以下是可能存储在目录中的两个文件my-gcs-bucket/syslog/2015/01/13/
:08:00:00_08:59:59_S0.json 08:00:00_08:59:59_S1.json
这两个文件一起包含所有的syslog日志条目 从UTC时间0800开始的小时内的实例。获取所有日志 条目,您必须读取每个时间段的所有分片 - 在此 case,文件分片0和1.写入的文件分片数可以 根据日志条目的数量更改每个时间段。
我通过Quotas and limits下面引用部分中的最后一个链接到达了上面的页面:
记录提取分配
Stackdriver提供了对App Engine应用程序的记录。通过 默认情况下,为应用程序存储最多7个日志的日志 天和5GB。删除早于最长保留时间的日志, 并尝试存储超过5千兆字节的免费摄取限制 会导致错误。您可以更新到Premium Tier 更大的存储容量和保留长度。有关记录速率和限制的详细信息,请参阅Stackdriver pricing。如果你 希望保留您的日志的时间比Stackdriver允许的时间长 可以export logs to Google Cloud Storage, Google BigQuery, or Google Cloud Pub/Sub。