数据流是否支持自定义触发器或更新触发器延迟?

时间:2016-07-21 03:43:31

标签: google-cloud-dataflow

TL:DR;是否可以创建自定义触发器,仅在设置了某个标志时触发?当我们知道正在发生大数据事件时,是否可以使用具有巨大延迟的触发器部署作业,然后在事件结束后将触发器部署到具有正常或无延迟的触发器的更新?

继续:Remove duplicates across window triggers/firings

这种情况最有问题(数百万次重复点火)的情况是我们正在对旧数据进行回填。鉴于我们知道这种情况何时发生,我想知道我们是否可以实现一个自定义触发器,该触发器在设置标志时不会触发。那是可能的吗?或者,我们是否可以在回填过程中使用包含巨大延迟的触发器来部署作业,然后在完成后使用正常触发器发出更新?

1 个答案:

答案 0 :(得分:1)

Dataflow尚不支持基于某些单独元数据的自定义触发器或触发器。但是,您可以使用Update更改处理时间触发器的频率;只需更改plusDelay()构建器函数的值,并正常运行--update。