Google Cloud Dataflow用于流传输,什么时候数据流会自动关闭并清理VM实例?

时间:2019-04-23 20:04:09

标签: google-cloud-dataflow

根据文档https://cloud.google.com/dataflow/docs/resources/faq

“但是,一旦您的作业完成或失败,Cloud Dataflow服务将自动关闭并清理VM实例。”

这对于Batch很容易理解。但是对于流,pub / sub消息将继续出现,数据流如何处理呢?继续关闭和清理VM实例效率不高。但是,始终保持VM实例始终运行也不划算。

谢谢

1 个答案:

答案 0 :(得分:1)

对于流式Dataflow作业,VM将继续运行,直到您结束作业。如果您没有从pubsub传来的恒定消息流,则可能需要查看cron作业以进行批处理Dataflow(https://cloud.google.com/blog/products/gcp/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions),或将较小的辅助节点用于流式​​作业以帮助降低成本。