如何在flink的readFile方法中提到FileInputFormat？

Question

我正在使用flink从文件中连续读取数据，该文件会定期附加数据。我试图在flink中使用readFile方法。但是如何在这个方法的参数中提到FileInputFormat。我的文件格式是json。任何人都可以帮我这个吗？谢谢

Answer 1

Flink的InputFormat不适合从同时写入的文件中读取。

鉴于此要求，我假设您正在寻找一种将文件作为流使用并使用Flink的DataStream API处理它的方法。在这种情况下，您需要实现一个跟踪文件大小和进度的SourceFunction并连续读取文件。

但是，我不推荐这种设计。我宁愿定期启动一个新文件并将其移动到专用文件夹，以便在完成并下一个文件启动后进行消费。