通过云功能与使用数据流来订阅Google发布/订阅消息

时间:2020-02-26 17:55:30

标签: google-cloud-functions google-cloud-dataflow google-cloud-sql google-cloud-pubsub

我有一个pubsub主题,每秒大约发布1条消息。邮件大小约为1kb。我需要将这些数据实时获取到cloudsql和bigquery中。 数据正在以稳定的速度增长,至关重要的是,这些数据都不会丢失或延迟。将它们多次写入目的地不是问题。数据库中所有数据的大小约为1GB。

使用由主题触发的Google云功能与Google数据流来解决此问题有什么优缺点?

1 个答案:

答案 0 :(得分:2)

数据流专注于在将数据加载到接收器之前进行数据转换。当您要执行windowed data(聚合,求和,计数...)的计算时,Dataflow(波束)的流模式非常强大。如果您的用例需要一个稳定的速率,那么在部署新版本的管道时(如果不成倍增加值就可以轻松解决问题!),数据流可能是一个挑战!

云功能是云的粘合剂。在您的描述中,它似乎非常合适。在主题上,创建2个订阅和2个功能(每个订阅一个)。一种用BigQuery写,另一种用CLoud SQL写。这种并行化可确保您在处理中的延迟最小。