Question

我正在尝试为存储在Google云存储桶中的对象设置实时访问日志。 google指定here的访问日志每小时生成一次，并且不起作用。

我想获得有关对象访问的类似信息（IP，下载量，client_os），但要实时。有没有办法在Google云端平台上执行此操作？

如果使用实时日志将流量路由到另一点会更好，那么我将为您提供有关如何使用此工具以及使用哪些工具的建议。最终，我希望在google data studio中可视化数据。

Answer 1

不幸的是，谷歌存储仅提供以下gcp-storage metric

df1 <- data.frame(ref = 1:1e5)
df1[paste0("tgt", 1:300)] <- replicate(300, sample(c(1:50, rep(NA, 5)), 1e5, replace = T))

microbenchmark::microbenchmark(
  base = {
    lapply(df1[,-1], function(x) {
      na_loc <- which(is.na(x))
      rle <- rle(is.na(x))
      reps <- rle$lengths[rle$values == T]

      start <- na_loc - 1
      start <- start[!start %in% na_loc]
      end <- na_loc + 1
      end <- end[!end %in% na_loc]

      data.frame(start = rep(start, reps),
                 end = rep(end, reps))
    }
  )},
  times = 5
)

Unit: seconds
 expr      min       lq     mean   median       uq      max neval
 base 1.863319 1.888617 1.897651 1.892166 1.898196 1.945954     5

我认为您想要访问存储桶对象的日志，例如图像，视频等。您也许可以尝试在存储桶前面使用Google Cloud CDN。因此，您可以通过 httpRequest 获取所需的访问日志，并从stackdriver获取

- api/request_count
- authz/acl_based_object_access_count
- authz/object_specific_acl_mutation_count
- network/received_bytes_count
- network/sent_bytes_count
- storage/object_count
- storage/total_byte_seconds
- storage/total_bytes

Answer 2

云存储日志共有三种类型：

Access logs-更新了每小时费率，记录了指定存储桶的所有请求。
存储日志-每天更新一次，提供自前一天起有关存储使用情况的所有信息。
Audit logs -连续跟踪访问权限，这是recommended记录有经验的用户的存储活动的方式。

您可以在Google Cloud Platform控制台>活动Activity Stream中查看审核日志。

资源类型过滤器：GCS bucket。

可以在Logs Viewer中找到更详细的日志版本。

如果您需要使用日志进行进一步的分析，请参阅Google Cloud文档中的there are several options to do so。还有一个示例查询，用于可视化Data Studio中的数据。 Check more custom queries for Data Studio here。

如何在Google云存储中启用实时对象访问分析？

2 个答案: