Flink Batch应用程序,查找所有文件的绝对路径

时间:2018-07-17 05:28:14

标签: apache-flink hadoop2 flink-streaming

我正在编写一个Flink Batch应用程序,以从s3存储桶(一个压缩的hadoop序列文件)中读取输入数据。

我想获取正在处理的具有绝对路径的所有文件名,并将其保存到json文件中。

使用InputFormat,然后从执行环境中,我能够创建一个DataSet [ByteWritable,ByteWritable],但无法找到一种方法来从该DataSet中获取所有文件名。

请为此提出一种方法。

0 个答案:

没有答案