移动数据时，通过数据流通过云功能带来的好处是什么？

Question

我是GCP的新手，刚开始在GCP上设置/评估我的组织架构。

场景：
数据将流入发布/订阅主题（频率高，数据量少）。目标是将这些数据移入Big Table。据我了解，您可以通过在主题上触发云功能或使用Dataflow来实现。

现在我以前对云功能感到满意，因此很满意。

我看不到选择一个而不是另一个的好处。所以我的问题是什么时候选择这些产品中的什么？

谢谢

Answer 1

两种解决方案都可以使用。如果您的发布/订阅流量增长到大量数据，则数据流将更好地扩展，但是云功能应该适用于少量数据；我将查看此页面（尤其是速率限制部分），以确保您适合Cloud Functions：https://cloud.google.com/functions/quotas

要考虑的另一件事是，Dataflow可以保证对数据进行一次精确的处理，因此BigTable中不会出现重复项。 Cloud Functions不会为您提供开箱即用的功能。如果采用函数方法，则需要确保Pub / Sub消息始终确定写入哪个BigTable单元。这样，如果函数多次重试，则相同的数据将简单地覆盖相同的BigTable单元。

Answer 2

您的需求听起来相对直截了当，而Dataflow对于您尝试做的事情可能会过大。如果云功能可以满足您的需求，那么他们可能会坚持使用。我经常发现，简单性是可维护性的关键。

但是，当您需要执行转换（例如，用户将这些事件合并到BigTable中之前）时，Dataflow才是真正的亮点：

https://beam.apache.org/documentation/programming-guide/#groupbykey