Text.IO.ReadAll

Question

我必须将30个GCS文件夹中的json文件作为String读取到数据流管道中。我没有为每个步骤添加Text.IO.Read步骤，而是希望使用Text.IO.ReadAll。任何想法我如何设置它来从多个文件夹中读取。

找到this但我的案例中的文件夹名称位于List<String>而不是PCollection<String>

// E.g. the filenames might be computed from other data in the pipeline, or
 // read from a data source.
 PCollection<String> filenames = ...;

 // Read all files in the collection.
 PCollection<String> lines = filenames.apply(TextIO.readAll());

我必须阅读的每个GCS文件夹都有500个文件。

Answer 1

使用Create.of（）从列表中创建PCollection。