Apache Flink-每隔N小时从HDFS中读取Parquet文件

时间:2019-06-25 21:16:11

标签: java hdfs apache-flink parquet flink-streaming

我有一些实木复合地板文件,我已读入Flink流应用程序以使用ValueState建立内部状态。效果很好,但是文件每隔几个小时更新一次,所以我想重新读取文件以更新系统。

由于它是流应用程序,因此文件是有界流,但是我希望重新触发DataStreamSource以每N小时再次读取数据,因此将其视为无界流。使用Apache Flink可以做到这一点吗?

在没有数据传递的情况下,我可以每N小时重新启动整个应用程序,但是我想知道是否有一种方法可以不诉诸于重新启动。

0 个答案:

没有答案