如何基于发布/订阅属性(或元素数据)将异构PCollection组织为同质Collection?

时间:2018-08-17 15:47:29

标签: apache-beam

为简单起见,我想将一个Pub / Sub主题吸收到DataFlow管道中。然后,我想根据消息的属性拆分该集合。我没有看到一个很好的例子。我看到了将集合分为A和B以及其他字母的示例,但是这种创新与每天生成新客户ID的按客户ID进行拆分并不相似。

我看到一些可能有用的东西,例如GroupByKey和parDo,但我对这里的最佳做法感到好奇。

0 个答案:

没有答案