--streaming选项在Dataflow中起什么作用?

时间:2018-07-27 07:58:49

标签: google-cloud-dataflow

The documentation says that the --streaming flag sets

“是否启用流模式;如果启用,则为true。”

我找不到任何关于“流模式”实际上如何改变管道行为的解释。如果我针对有界的源运行将此标志设置为true的管道,则在读取所有数据时,管道仍将关闭(这是我的第一个假设)。

我想知道在运行管道时是否应该考虑其他影响因素。

那么-流模式如何影响数据流管道的行为?

2 个答案:

答案 0 :(得分:0)

如果在管道上设置--streaming,则不管源的边界如何,默认情况下都会禁用自动缩放功能(当管道未设置标志且源已绑定时,默认情况下会启用自动缩放)。

我不知道是否还有其他后果。

答案 1 :(得分:0)

在使用流模式时,有几点要注意的事项(参考Python Apache Beam SDK。我相信Java SDK也是如此)

  1. 在流模式下,只能从Cloud PubSub读取数据并将其写入Cloud Pub Sub或Bigquery
  2. 流式传输模式尚不支持批处理源(例如GCS上的文件)。

有关更多信息,请参考:https://cloud.google.com/dataflow/faq#it-looks-like-my-streaming-pipeline-that-reads-from-pubsub-is-slowing-down-what-can-i-do