如何从Flink中的单个目录中读取具有特定名称类型的多个文件

时间:2019-06-07 06:44:51

标签: java apache-flink

我正在从多个文件中读取文件,这些文件位于同一文件夹中,其名称类似于1_W,2_W,3_W,1_R,2_R,3_R,但现在我只想读取以'_W'而不是'_R'结尾的文件

在我的代码中,我正在使用递归枚举参数,该参数读取目录中的所有文件

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
BatchTableEnvironment tableEnv = TableEnvironment.getTableEnvironment(env);
Configuration parameters = new Configuration();
parameters.setBoolean("recursive.file.enumeration", true);
DataSet<String> message = env.readTextFile("/home/gaurav").withParameters(parameters);

如果我给出类似/ home / gaurav / * _ W的路径,则会给我文件错误的错误提示

0 个答案:

没有答案