Apache Crunch：如何设置多个输入路径？

Question

我有一个问题：使用Apache Crunch时无法设置多个输入路径。我该如何解决这个问题？

Answer 1

您可以通过在列表中指定所有输入路径来添加多个输入文件，以便进行处理。

public class Name {

public static void main(String[] args) {
    Pipeline pipeline =  new MRPipeline(Name.class, jobName, conf);
    List<Path> inputPathList = new ArrayList<>(); // Add your InputPaths here
    PCollection<String> source = From.sequenceFile(inputPathList, Text.class);
  }
}