GCP 发布订阅设计问题

Question

我们计划使用 GCP Pubsub 将事件写入 GCS。我有以下问题。

1. 我们想在 BigQuery 中启用审计表，我们想查看特定时间范围内有多少消息。按天、小时

2. 我们如何从 Pubsub 进行验证，假设我们收到 10 条消息，我们如何检查 GCS？如何检查我们没有丢弃任何消息。

非常感谢您的反馈。

Answer 1

要验证写入 GCS 的记录数，您可以创建 Big query 外部临时表并查询写入 GCS 的记录数。这种健全性检查需要定期进行。

第二种解决方案：-您还可以通过以下命令检查写入 GCS 的无记录或记录：-

gsutil cat gs://folder/test.csv | wc -l