我们能否仅通过云功能触发一次数据流作业?

时间:2019-11-06 12:57:38

标签: google-cloud-platform google-bigquery google-cloud-pubsub google-cloud-stackdriver

我的BigQuery表正在加载多个批处理作业,导致在stackdriver日志记录中创建了多个日志条目。我想通过将这些日志条目发送到pubsub主题,然后使用云功能来运行数据流作业来触发数据流作业。

问题,我们有1个以上的批处理作业,因此有1个以上的日志条目进入pubsub主题和云功能,试图一次又一次地运行相同的数据流作业。

我需要在所有批处理作业都完成bigQuery表中的数据加载时运行一次数据流作业的解决方案。 (批处理作业的数量不是恒定的)

0 个答案:

没有答案