我有一个用例,我正在评估google-cloud-dataflow是否最适合我们的代码设计。我们需要并行处理贸易事件处理,以便向监管机构报告。但是,我们需要按顺序处理同一笔交易的修改,以保持同一笔交易的顺序。
正如我在google-cloud-dataflow中阅读的那样,PCollection中的所有事件都是根据所应用的PTransforms进行并行处理的。
如果我的每笔交易都是在创建的PCollection中的一个事件,那么我能够按顺序处理具有相同ID的交易,而其余的则并行处理。
我阅读了使用Apache Beam进行的状态处理,在其中我们可以有状态的ParDo函数,但是google-cloud-dataflow支持吗?