标签: apache-flink hadoop2 flink-streaming
我正在编写一个Flink Batch应用程序,以从s3存储桶(一个压缩的hadoop序列文件)中读取输入数据。
我想获取正在处理的具有绝对路径的所有文件名,并将其保存到json文件中。
使用InputFormat,然后从执行环境中,我能够创建一个DataSet [ByteWritable,ByteWritable],但无法找到一种方法来从该DataSet中获取所有文件名。
请为此提出一种方法。