在DataFlow上取消没有dataloss的作业

时间:2016-02-05 11:43:52

标签: google-cloud-dataflow google-cloud-pubsub

我正试图找到一种优雅地结束工作的方式,以免丢失任何数据,从PubSub流式传输并写入BigQuery。

我可以想象的一种可能的方法是让作业停止提取新数据,然后运行直到它处理完所有内容,但我不知道是否/如何实现这一点。

2 个答案:

答案 0 :(得分:3)

此功能似乎已在最新版本中添加。

现在你所要做的就是在取消工作时选择drain option

感谢。

答案 1 :(得分:2)

我相信这对你自己来说很困难(如果不是不可能的话)。我们(Google云数据流团队)已意识到这一需求,并正在努力在未来几个月内使用新功能解决此问题。