任务管理器接收到的邮件无序

Question

我正在从文件中读取消息，并在写入Sink之前应用了一些运算符，发现任务管理正在使给定密钥的消息混乱。如何解决这个问题？我做错什么了吗？请在下面检查我的源文件格式和代码。谢谢！

customer_id - timestamp - event_seq
1 t1 e1
1 t2 e2
2 t1 e1
2 t2 e2
1 t3 e3


        DataStream<String> source = createTextFileSourceFromConfig(env);

        source.map(new MapFunction<String, JSONObject>() {
            @Override
            public JSONObject map(String s) throws Exception {
                return new JSONObject(s);
            }
        }).keyBy(new KeySelector<JSONObject, String>() {
            @Override
            public String getKey(JSONObject event) {
                return event.get("id").toString();
            }
        }).filter(new InitialFilter())...

在上面的示例中，任务管理器正在接收<1 t3 e3>作为id = 1的第一条消息。感谢您的建议。

Answer 1

如果读取并行度> 1，则不能保证下游运算符会接收到记录的顺序，因为可以在并行执行的源之间拆分输入文件。这样一来，文件的最后一个块的源就可以在第一个块之前开始发射行。