如何验证发送到PubSub的所有邮件是否已正确发送？

Question

我正在运行从PubSub读取并写入BigQuery的Dataflow流式管道。当我尝试验证所有消息都已写入BigQuery时，我发现有些消息丢失了。

如何验证发送到PubSub的所有邮件是否都已正确发送？

Answer 1

如果您在PubSub发布商（cloud.google.com/pubsub/publisher）上收到OK回复，则表示他们已正确发送。您可以尝试在发布者中记录所有已发布的消息ID，并在管道中记录所有收到的消息ID（例如，将它们放入BigQuery列中）。