一对一地处理流,而不是并行处理

时间:2019-07-30 05:38:27

标签: apache-flink

Flink初学者-需要一个接一个而不是并行处理数据流

每个文件有一个数据流。

我需要保持处理顺序,但是流都是并行处理的,数据集也无济于事。 建议?

1 个答案:

答案 0 :(得分:0)

您可以在Flink中使用 org.apache.flink.streaming.api.functions.source.ContinuousFileMonitoringFunction ,该文件监视文件并按修改时间顺序向下游转发文件拆分;为了实现顺序文件处理,您可以将下游的并行度设置为1,这有点棘手; 或者,您可以实现自己的自定义SourceFunction,该功能以所需顺序转发文件内容。