Question

Kafka服务器中有一个主题。在程序中，我们将此主题作为流阅读并分配事件时间戳。然后在此流上执行窗口操作。但该计划不起作用。调试后，似乎没有执行WindowOperator的processWatermark方法。这是我的代码。

    DataStream<Tuple2<String, Long>> advertisement = env
            .addSource(new FlinkKafkaConsumer082<String>("advertisement", new SimpleStringSchema(), properties))
            .map(new MapFunction<String, Tuple2<String, Long>>() {
                private static final long serialVersionUID = -6564495005753073342L;

                @Override
                public Tuple2<String, Long> map(String value) throws Exception {
                    String[] splits = value.split(" ");
                    return new Tuple2<String, Long>(splits[0], Long.parseLong(splits[1]));
                }
            }).assignTimestamps(timestampExtractor);

    advertisement
            .keyBy(keySelector)
            .window(TumblingTimeWindows.of(Time.of(10, TimeUnit.SECONDS)))
            .apply(new WindowFunction<Tuple2<String,Long>, Integer, String, TimeWindow>() {
                private static final long serialVersionUID = 5151607280638477891L;
                @Override
                public void apply(String s, TimeWindow window, Iterable<Tuple2<String, Long>> values, Collector<Integer> out) throws Exception {
                    out.collect(Iterables.size(values));
                }
            }).print();

为什么会这样？如果我在“assignTimestamps（timestampExtractor）”之前添加“keyBy（keySelector）”，那么该程序可以工作。有人可以帮忙解释原因吗？

Answer 1

您受Flink中已知错误的影响：FLINK-3121:Watermark forwarding does not work for sources not producing any data。

问题是有更多的FlinkKafkaConsumer正在运行（很可能是CPU核心的数量（比如4）），那么你就有了分区（1）。只有一名卡夫卡消费者正在发出水印，而其他消费者则闲置着。

窗口操作员不知道这一点，等待来自所有消费者的水印。这就是窗户永远不会触发的原因。

关于kafka源流的事件时间窗口

1 个答案: