标签: google-cloud-dataflow google-cloud-pubsub
我正试图找到一种优雅地结束工作的方式,以免丢失任何数据,从PubSub流式传输并写入BigQuery。
我可以想象的一种可能的方法是让作业停止提取新数据,然后运行直到它处理完所有内容,但我不知道是否/如何实现这一点。
答案 0 :(得分:3)
此功能似乎已在最新版本中添加。
现在你所要做的就是在取消工作时选择drain option。
感谢。
答案 1 :(得分:2)
我相信这对你自己来说很困难(如果不是不可能的话)。我们(Google云数据流团队)已意识到这一需求,并正在努力在未来几个月内使用新功能解决此问题。