Google Dataflow - 从多个PCollection创建一个PCollection <tablerow>&lt; TableRow&gt;

时间:2017-06-12 21:41:35

标签: google-cloud-dataflow

我有2个TableRow PCollection -

  1. PCollection validRow:此TableRow包含(key1,valiue1)
  2. PCollection inValidRow:此TableRow包含(key2,valiue2)
  3. 从上面的PCollection中,我想创建一个包含键值对((key1,valiue1),(key2,value2))的PCollection tableRow

1 个答案:

答案 0 :(得分:0)

您可以在here中查看我对类似问题的回答。 您将需要创建一个PCollectionList然后展平它:

PCollection<TableRow> validRow = ...
PCollection<TableRow> inValidRow = ...

PCollectionList<TableRow> rowList = PCollectionList.of(validRow).and(inValidRow);

PCollection<TableRow> rows = rowList.apply(Flatten.pCollections());