评估如何使用google-cloud-dataflow依次处理相关事件

时间:2019-02-12 04:02:17

标签: google-cloud-dataflow

我有一个用例,我正在评估google-cloud-dataflow是否最适合我们的代码设计。我们需要并行处理贸易事件处理,以便向监管机构报告。但是,我们需要按顺序处理同一笔交易的修改,以保持同一笔交易的顺序。

正如我在google-cloud-dataflow中阅读的那样,PCollection中的所有事件都是根据所应用的PTransforms进行并行处理的。

如果我的每笔交易都是在创建的PCollection中的一个事件,那么我能够按顺序处理具有相同ID的交易,而其余的则并行处理。

我阅读了使用Apache Beam进行的状态处理,在其中我们可以有状态的ParDo函数,但是google-cloud-dataflow支持吗?

0 个答案:

没有答案