GCP数据流与云功能

Question

我有一个现有系统，其中数据发布到Pub / Sub主题，由云功能订阅者读取，并推送到Big Query进行存储（订阅者CF中没有进行任何其他转换）。

使用pub / sub-BQ模板将订户CF更改为Dataflow流作业是个好主意吗？ 使用它们的优点/缺点是什么？

Answer 1

所有取决于您的用例和数据速率。

• 如果将稀疏数据发布到PubSub主题，则Cloud Function可以很好地工作并且几乎不花费任何费用
• 如果流量持续增长，您必须照顾好处理时间。一个简单的数据流将仅花费1vm up（基本vm，n1-standard-1）。 Cloud Functions小时价格比1vm up（n1-standard-1）贵。在并发消息的情况下，将产生多个实例，这会增加处理成本。

您还必须考虑到功能部署的简便性（在Dataflow的对面，您必须耗尽管道，停止它并重新启动它）和做更多事情（以及更长时期）的能力时间））（数据流的处理能力有限，每条消息的处理时间不能超过9分钟）。

根据您的项目角度，一种解决方案可能会更好。

另外，我还有第三个选择：Cloud Run。 Cloud Run几乎与功能更新和部署一样容易，处理持续时间稍长一点（每条消息15分钟），并且您可以在同一实例上处理多条消息，因此定价可能比使用Run有趣得多。由于这种分解作用。如果您有兴趣，请看看this article that I wrote