Question

我当前正在使用Apache Beam 2.4。我的管道包括一个CoGroupByKey步骤，该步骤不返回任何数据。当我在UI中展开任务时，数据不会超出CoGroupByKey的内部Flatten.PCollection。

我的代码的结构如javadoc示例

所示

static final TupleTag<String> simpleEventTag1 = new TupleTag<String>(){};
static final TupleTag<String> simpleEventTag2 = new TupleTag<String>(){};
PCollection<KV<String, String>> pt1 = ...;
PCollection<KV<String, String>> pt2 = ...;

 PCollection<KV<String, CoGbkResult>> coGbkResultCollection =
   KeyedPCollectionTuple.of(simpleEventTag1, pt1)
                        .and(simpleEventTag2, pt2)
                        .apply(CoGroupByKey.create());

我的窗口是：

Window.<String>into(FixedWindows.of(Duration.standardMinutes(1)))
    .triggering(Repeatedly.forever(AfterProcessingTime
    .pastFirstElementInPane()
    .plusDelayOf(Duration.standardSeconds(20))
    )
)
.withAllowedLateness(Duration.ZERO)
.discardingFiredPanes()

pt1和pt2都从PCollectionTuple检索，并且不为空。它们共享相同的FixedWindow属性。我不知道自己在做什么错，找不到任何方法来调试此问题。有什么想法吗？

Expanded CoGroupBy

Flatten无法返回CoGroupByKey中的任何数据

0 个答案: