是否可以在不丢失当前数据的情况下停止流式传输作业？

Question

我有一个从PubSub订阅中读取的流管道。管道应用1小时的固定窗口，在进行一些转换后，如GroupByKey，将数据写入BigQuery。

我的问题是，如果我停止执行作业，当前窗口的数据不会写入BigQuery，因为它们都没有订阅，也没有用BigQuery编写。

Answer 1

马可

更新功能现已在Maven中使用。它要求您运行具有相同jobName和--update标志值的新兼容管道。但请注意，如果您更改代码太多（这通常涉及删除或更改GroupByKey或其他组合操作） - 更新将失败，因为服务不知道如何将旧状态与新管道相关联。 / p>

Answer 2

更新正在运行的Dataflow管道的功能正在进行中。事实上，它的一个版本已经提交到我们的GitHub存储库，应该是Maven Central的下一个版本的一部分。请关注our Release Notes以获取特定版本信息。

通过--update管道选项触发更新功能。有关详细信息，请参阅DataflowPipelineDebugOptions.java。