标签: google-cloud-platform google-bigquery google-cloud-pubsub google-cloud-stackdriver
我的BigQuery表正在加载多个批处理作业,导致在stackdriver日志记录中创建了多个日志条目。我想通过将这些日志条目发送到pubsub主题,然后使用云功能来运行数据流作业来触发数据流作业。
问题,我们有1个以上的批处理作业,因此有1个以上的日志条目进入pubsub主题和云功能,试图一次又一次地运行相同的数据流作业。
我需要在所有批处理作业都完成bigQuery表中的数据加载时运行一次数据流作业的解决方案。 (批处理作业的数量不是恒定的)